Количественная оценка запасов и неопределенностей

Количественная оценка запасов и неопределенности (QMU) — это методология поддержки принятия решений для сложных технических решений. QMU фокусируется на идентификации, характеристике и анализе пороговых значений производительности и связанных с ними запасов для инженерных систем , которые оцениваются в условиях неопределенности, особенно когда части этих результатов генерируются с использованием вычислительного моделирования и имитации. ^[1] QMU традиционно применялся к сложным системам, где комплексные экспериментальные данные испытаний недоступны и не могут быть легко получены ни для сквозного выполнения системы, ни для конкретных интересующих подсистем. Примерами систем, где применялся QMU, являются производительность ядерного оружия , квалификация и оценка запасов . QMU фокусируется на подробной характеристике различных источников неопределенности, которые существуют в модели, что позволяет хорошо количественно оценить неопределенность в выходных переменных отклика системы. Эти источники часто описываются в терминах распределений вероятностей для учета стохастической природы сложных инженерных систем. Характеристика неопределенности поддерживает сравнения проектных запасов для ключевых показателей производительности системы с неопределенностью, связанной с их расчетом моделью. QMU поддерживает процессы принятия решений с учетом рисков, где результаты вычислительного моделирования предоставляют один из нескольких входов для органа, принимающего решения. В настоящее время в сообществе моделирования нет стандартизированной методологии для проведения QMU; ^[2] этот термин применяется к различным методам моделирования и имитации, которые фокусируются на строгой количественной оценке неопределенности модели для поддержки сравнения с проектными полями.

История

Фундаментальные концепции QMU изначально разрабатывались одновременно в нескольких национальных лабораториях, поддерживающих программы ядерного оружия в конце 1990-х годов, включая Национальную лабораторию Лоуренса в Ливерморе , Национальную лабораторию в Сандии и Национальную лабораторию в Лос-Аламосе . Первоначально методология была направлена на поддержку принятия решений по ядерному арсеналу, область, где полные экспериментальные данные испытаний больше не могли быть получены для проверки из-за запретов на испытания ядерного оружия. ^[3] С тех пор методология применялась в других приложениях, где решения по безопасности или критически важные для миссии решения для сложных проектов должны приниматься с использованием результатов, основанных на моделировании и имитации. Примеры за пределами области ядерного оружия включают приложения в НАСА для разработки межпланетных космических аппаратов и марсоходов, ^[4] результаты моделирования ракет с шестью степенями свободы (6DOF) ^[5] и характеристику свойств материалов в терминальных баллистических столкновениях. ^[6]

Обзор

QMU фокусируется на количественной оценке отношения проектного запаса к неопределенности выходных данных модели. Процесс начинается с определения ключевых пороговых значений производительности для системы, которые часто можно найти в документах с требованиями к системе. Эти пороговые значения (также называемые воротами производительности) могут указывать верхнюю границу производительности, нижнюю границу производительности или обе в случае, когда метрика должна оставаться в указанном диапазоне. Для каждого из этих пороговых значений производительности должен быть определен связанный с ними запас производительности. Запас представляет собой целевой диапазон, в котором система проектируется для работы, чтобы безопасно избегать верхних и нижних границ производительности. Эти запасы учитывают такие аспекты, как коэффициент безопасности конструкции, для которого разрабатывается система, а также уровень уверенности в этом коэффициенте безопасности. QMU фокусируется на определении количественной неопределенности результатов моделирования, поскольку они связаны с пороговыми значениями производительности. Эта общая неопределенность включает все формы неопределенности, связанные с вычислительной моделью, а также неопределенность в пороговых значениях и запасах. Идентификация и характеристика этих значений позволяет рассчитать коэффициенты запаса к неопределенности (M/U) для системы. Эти значения M/U могут служить количественными входными данными, которые могут помочь властям принимать решения с учетом рисков относительно того, как интерпретировать и действовать в соответствии с результатами моделирования.

QMU признает, что существует несколько типов неопределенности, которые распространяются через модель сложной системы. Моделирование в процессе QMU дает выходные результаты для ключевых пороговых значений производительности, известных как наилучшая оценка плюс неопределенность (BE+U). Наилучший компонент оценки BE+U представляет собой основную информацию, которая известна и понятна о переменных отклика модели. Основой, которая обеспечивает высокую достоверность этих оценок, обычно являются обширные экспериментальные данные испытаний относительно интересующего процесса, что позволяет тщательно проверить имитационную модель.

Типы неопределенности, которые влияют на значение BE+U, можно разделить на несколько категорий: ^[7]

Алеаторная неопределенность : этот тип неопределенности естественным образом присутствует в моделируемой системе и иногда называется «неустранимой неопределенностью» и «стохастической изменчивостью». Примерами служат процессы, которые являются естественно стохастическими, такие как параметры порывов ветра и производственные допуски.
Эпистемическая неопределенность : этот тип неопределенности возникает из-за недостатка знаний о моделируемой системе и также известен как «уменьшаемая неопределенность». Эпистемическая неопределенность может быть результатом неопределенности относительно правильных базовых уравнений модели, неполного знания полного набора возможных сценариев и отсутствия экспериментальных тестовых данных, определяющих ключевые входные параметры модели.

Система также может страдать от неопределенности требований, связанной с указанными пороговыми значениями и пределами, связанными с системными требованиями. QMU признает, что в некоторых ситуациях разработчик системы может иметь высокую уверенность в том, каким может быть правильное значение для определенной метрики, в то время как в других случаях выбранное значение само может страдать от неопределенности из-за отсутствия опыта работы в этом конкретном режиме. QMU пытается разделить эти значения неопределенности и количественно оценить каждое из них как часть общих входов в процесс.

QMU также может учитывать человеческую ошибку в способности идентифицировать неизвестные неизвестные, которые могут повлиять на систему. Эти ошибки можно количественно оценить в некоторой степени, изучив ограниченные экспериментальные данные, которые могут быть доступны для предыдущих системных тестов, и определив, какой процент тестов привел к превышению пороговых значений системы неожиданным образом. Этот подход пытается предсказать будущие события на основе прошлых случаев неожиданных результатов.

Базовые параметры, которые служат входными данными для моделей, часто моделируются как выборки из распределения вероятностей. Распределения входных параметров модели, а также уравнения распространения модели определяют распределение значений выходных параметров. Распределение конкретного выходного значения должно учитываться при определении приемлемого соотношения M/U для этой переменной производительности. Если предел неопределенности для U включает конечную верхнюю границу из-за конкретного распределения этой переменной, более низкое соотношение M/U может быть приемлемым. Однако, если U моделируется как нормальное или экспоненциальное распределение, которое потенциально может включать выбросы из дальних хвостов распределения, может потребоваться большее значение для снижения риска системы до приемлемого уровня.

Соотношения приемлемых M/U для критически важных для безопасности систем могут варьироваться от приложения к приложению. Исследования указывают на приемлемые соотношения M/U в диапазоне от 2:1 до 10:1 для принятия решений о запасах ядерного оружия. Интуитивно понятно, что чем больше значение M/U, тем меньше доступного запаса производительности потребляется неопределенностью в выходных данных моделирования. Соотношение 1:1 может привести к запуску моделирования, в котором пороговое значение моделируемой производительности не будет превышено, когда на самом деле весь проектный запас мог быть израсходован. Важно отметить, что строгий QMU не гарантирует, что сама система способна соответствовать своему запасу производительности; скорее, он служит для того, чтобы гарантировать, что орган, принимающий решения, может выносить суждения на основе точно охарактеризованных результатов.

Основная цель QMU — предоставить лицам, принимающим решения, информацию, которая полностью характеризует результаты в свете неопределенности, как ее понимают разработчики модели. Такое представление результатов позволяет лицам, принимающим решения, принимать обоснованные решения, понимая, какие чувствительности существуют в результатах из-за текущего понимания неопределенности. Сторонники QMU признают, что решения для сложных систем не могут приниматься строго на основе количественных метрик M/U. Экспертное суждение по предметной области (SME) и другие внешние факторы, такие как мнения заинтересованных сторон и нормативные вопросы, также должны быть рассмотрены органом, принимающим решения, до принятия окончательного решения. ^[8]

Проверка и подтверждение

Верификация и валидация (V&V) модели тесно взаимосвязаны с QMU. ^[9] Верификация широко признана как процесс определения того, была ли построена модель правильно; действия по валидации сосредоточены на определении того, была ли построена правильная модель. ^[10] V&V по имеющимся экспериментальным данным испытаний является важным аспектом точной характеристики общей неопределенности переменных отклика системы. V&V стремится максимально использовать экспериментальные данные испытаний на уровне компонентов и подсистем для точной характеристики входных параметров модели и физических моделей, связанных с конкретными подэлементами системы. Использование QMU в процессе моделирования помогает гарантировать, что стохастическая природа входных переменных (из-за как алеаторных, так и эпистемических неопределенностей), а также базовая неопределенность в модели должным образом учитываются при определении прогонов моделирования, необходимых для установления достоверности модели до аккредитации.

Преимущества и недостатки

QMU имеет потенциал для поддержки улучшенного принятия решений для программ, которые должны в значительной степени полагаться на моделирование и имитацию. Результаты моделирования и имитации используются все чаще во время приобретения, разработки, проектирования и тестирования сложных инженерных систем. ^[11] Одной из основных проблем разработки имитаций является знание того, насколько верным должен быть каждый элемент модели. Стремление к более высокой точности может значительно увеличить время разработки и общую стоимость усилий по разработке имитации. QMU предоставляет формальный метод описания требуемой верности относительно пределов проектного порога для ключевых переменных производительности. Эта информация также может быть использована для определения приоритетных областей будущих инвестиций для имитации. Анализ различных соотношений M/U для ключевых переменных производительности может помочь определить компоненты модели, которые нуждаются в обновлении верности для повышения эффективности имитации.

Также были выявлены различные потенциальные проблемы, связанные с использованием QMU. QMU может привести к более длительным графикам разработки и увеличению затрат на разработку по сравнению с традиционными проектами моделирования из-за применяемой дополнительной строгости. Сторонники QMU утверждают, что требуемый уровень количественной оценки неопределенности обусловлен требованиями сертификации для предполагаемого применения моделирования. Моделирование, используемое для планирования возможностей или анализа системной торговли, должно, как правило, моделировать общие тенденции производительности анализируемых систем и компонентов. Однако для критически важных для безопасности систем, где отсутствуют экспериментальные данные испытаний, результаты моделирования обеспечивают критически важный вклад в процесс принятия решений. Другим потенциальным риском, связанным с использованием QMU, является ложное чувство уверенности в отношении защиты от неизвестных рисков. Использование количественных результатов для ключевых параметров моделирования может привести к тому, что лица, принимающие решения, будут считать, что все возможные риски полностью учтены, что особенно сложно для сложных систем. Сторонники QMU выступают за процесс принятия решений с учетом рисков для противодействия этому риску; в этой парадигме результаты M/U, а также суждение SME и другие внешние факторы всегда учитываются в окончательном решении.

Смотрите также

Ссылки

^ Мартин Пилч; Тимоти Г. Трукано и Джон К. Хелтон (сентябрь 2006 г.). «Идеи, лежащие в основе количественной оценки маржи и неопределенности (QMU): Белая книга» (PDF) . Отчет Sandia National Laboratories SAND2006-5001.
^ Д. Эрдли и др. (2005-03-25). «Количественная оценка маржи и неопределенности» (PDF) . JASON – отчет JASON корпорации Mitre JSR-04-330. {{cite journal}}: Цитировать журнал требует |journal=( помощь )
^ Дэвид Х. Шарп и Мерри М. Вуд-Шульц (2003). «QMU и сертификация ядерного оружия — что под капотом?» (PDF) . Los Alamos Science . 28 : 47–53 .
^ Ли Петерсон (23 июня 2011 г.). «Количественная оценка запасов и неопределенности (QMU): превращение моделей и тестовых данных в уверенность в миссии» (PDF) . Семинар Института Кека по космической XTerraMechanics .
^ Уильям Л. Оберкампф и др. (апрель 2000 г.). «Оценка общей неопределенности в моделировании и имитации». Отчет Sandia SAND2000-0824 .
^ А. Кидане и др. (2012). «Строгая модельно-ориентированная количественная оценка неопределенности с применением к терминальной баллистике, часть I: Системы с контролируемыми входами и малым разбросом» (PDF) . Журнал механики и физики твердого тела . 60 (5): 983– 1001. Bibcode :2012JMPSo..60..983K. doi :10.1016/j.jmps.2011.12.001.
^ Джон С. Хелтон и др. (2009). «Концептуальная и вычислительная основа для количественной оценки запасов и неопределенности» (PDF) . Технический отчет Sandia National Laboratories SAND2009-3055. {{cite journal}}: Цитировать журнал требует |journal=( помощь )
^ BJ Garrick & RF Christie (2002). «Практики вероятностной оценки риска в США для атомных электростанций». Safety Science . 40 ( 1–4 ): 177–201 . doi :10.1016/s0925-7535(01)00036-4.
^ Национальный исследовательский совет национальных академий (2012). «Оценка надежности сложных моделей». {{cite journal}}: Цитировать журнал требует |journal=( помощь )
^ WL Oberkampf; TG Trucano & C. Hirsch (2004). «Верификация, валидация и предсказательная способность в вычислительной технике и физике» (PDF) . Applied Mechanics Reviews . 57 (5): 345–384 . Bibcode : 2004ApMRv..57..345O. doi : 10.1115/1.1767847.
^ Blue Ribbon Panel on Simulation-based Engineering Science (2006). "Simulation-Based Engineering Science: Revolutionizing Engineering Science Through Simulation" (PDF) . Технический отчет Национального научного фонда .

[1] Мартин Пилч; Тимоти Г. Трукано и Джон К. Хелтон (сентябрь 2006 г.). «Идеи, лежащие в основе количественной оценки маржи и неопределенности (QMU): Белая книга» (PDF) . Отчет Sandia National Laboratories SAND2006-5001.

[2] Д. Эрдли и др. (2005-03-25). «Количественная оценка маржи и неопределенности» (PDF) . JASON – отчет JASON корпорации Mitre JSR-04-330. {{cite journal}}: Цитировать журнал требует |journal=( помощь )

[3] Дэвид Х. Шарп и Мерри М. Вуд-Шульц (2003). «QMU и сертификация ядерного оружия — что под капотом?» (PDF) . Los Alamos Science . 28 : 47–53 .

[4] Ли Петерсон (23 июня 2011 г.). «Количественная оценка запасов и неопределенности (QMU): превращение моделей и тестовых данных в уверенность в миссии» (PDF) . Семинар Института Кека по космической XTerraMechanics .

[5] Уильям Л. Оберкампф и др. (апрель 2000 г.). «Оценка общей неопределенности в моделировании и имитации». Отчет Sandia SAND2000-0824 .

[6] А. Кидане и др. (2012). «Строгая модельно-ориентированная количественная оценка неопределенности с применением к терминальной баллистике, часть I: Системы с контролируемыми входами и малым разбросом» (PDF) . Журнал механики и физики твердого тела . 60 (5): 983– 1001. Bibcode :2012JMPSo..60..983K. doi :10.1016/j.jmps.2011.12.001.

[7] Джон С. Хелтон и др. (2009). «Концептуальная и вычислительная основа для количественной оценки запасов и неопределенности» (PDF) . Технический отчет Sandia National Laboratories SAND2009-3055. {{cite journal}}: Цитировать журнал требует |journal=( помощь )

[8] BJ Garrick & RF Christie (2002). «Практики вероятностной оценки риска в США для атомных электростанций». Safety Science . 40 ( 1–4 ): 177–201 . doi :10.1016/s0925-7535(01)00036-4.

[9] Национальный исследовательский совет национальных академий (2012). «Оценка надежности сложных моделей». {{cite journal}}: Цитировать журнал требует |journal=( помощь )

[10] WL Oberkampf; TG Trucano & C. Hirsch (2004). «Верификация, валидация и предсказательная способность в вычислительной технике и физике» (PDF) . Applied Mechanics Reviews . 57 (5): 345–384 . Bibcode : 2004ApMRv..57..345O. doi : 10.1115/1.1767847.

[11] Blue Ribbon Panel on Simulation-based Engineering Science (2006). "Simulation-Based Engineering Science: Revolutionizing Engineering Science Through Simulation" (PDF) . Технический отчет Национального научного фонда .