Kvantifikace marží a nejistot - Quantification of margins and uncertainties

Kvantifikace marží a nejistoty (QMU) je metodika podpory rozhodování pro složitá technická rozhodnutí. QMU se zaměřuje na identifikaci, charakterizaci a analýzu prahových hodnot výkonu a jejich přidružených marží pro inženýrské systémy, které jsou hodnoceny za podmínek nejistoty, zejména když jsou části těchto výsledků generovány pomocí výpočetního modelování a simulace.[1] QMU se tradičně používá u komplexních systémů, kde komplexní experimentální testovací data nejsou snadno dostupná a nelze je snadno vygenerovat pro spuštění systému typu end-to-end nebo pro konkrétní subsystémy, které nás zajímají. Mezi příklady systémů, kde byla použita QMU, patří výkonnost jaderných zbraní, kvalifikace a hodnocení zásob. QMU se zaměřuje na podrobnou charakteristiku různých zdrojů nejistoty, které existují v modelu, což umožňuje dobře kvantifikovat nejistotu ve výstupních proměnných odezvy systému. Tyto zdroje jsou často popisovány z hlediska rozdělení pravděpodobnosti, aby bylo možné vysvětlit stochastickou povahu komplexních inženýrských systémů. Charakterizace nejistoty podporuje srovnání návrhových rozpětí pro klíčové metriky výkonu systému s nejistotou spojenou s jejich výpočtem modelem. QMU podporuje rozhodovací procesy informované o riziku, kde výsledky výpočetní simulace poskytují jeden z několika vstupů pro rozhodovací orgán. V současné době neexistuje v rámci simulační komunity žádná standardizovaná metodika pro provádění QMU;[2] termín je aplikován na řadu různých technik modelování a simulace, které se zaměřují na důslednou kvantifikaci nejistoty modelu s cílem podpořit srovnání s návrhovými okraji.

Dějiny

Základní koncepty QMU byly původně vyvinuty souběžně v několika národních laboratořích podporujících programy jaderných zbraní na konci 90. let, včetně Lawrence Livermore National Laboratory, Sandia National Laboratory, a Národní laboratoř Los Alamos. Původním zaměřením metodiky byla podpora rozhodování o jaderných zásobách, což je oblast, kde již nemohly být generovány úplné údaje o experimentálních testech pro validaci kvůli zákazům testování jaderných zbraní.[3] Metodika se od té doby používá v jiných aplikacích, kde musí být rozhodování o bezpečnosti nebo kritických rozhodnutích pro složité projekty prováděno pomocí výsledků založených na modelování a simulaci. Mezi příklady mimo pole jaderných zbraní patří aplikace NASA pro vývoj meziplanetárních kosmických lodí a vozítek,[4] výsledky simulace rakety šest stupňů volnosti (6DOF),[5] a charakterizace materiálových vlastností při terminálních balistických setkáních.[6]

Přehled

QMU se zaměřuje na kvantifikaci poměru návrhové marže k nejistotě výstupu modelu. Proces začíná identifikací klíčových prahových hodnot výkonu pro systém, které lze často najít v dokumentech o systémových požadavcích. Tyto prahové hodnoty (označované také jako brány výkonu) mohou určit horní hranici výkonu, dolní hranici výkonu nebo obojí v případě, že metrika musí zůstat v zadaném rozsahu. Pro každou z těchto prahových hodnot výkonu musí být identifikována příslušná výkonnostní marže. Okraj představuje cílený rozsah, ve kterém je systém navržen, aby fungoval, aby se bezpečně vyhnul horním a dolním hranicím výkonu. Tyto rezervy zohledňují aspekty, jako je návrhový bezpečnostní faktor, pro který je systém vyvíjen, a také úroveň spolehlivosti v tento bezpečnostní faktor. QMU se zaměřuje na stanovení kvantifikované nejistoty výsledků simulace, protože se vztahují k mezním prahovým hodnotám výkonu. Tato celková nejistota zahrnuje všechny formy nejistoty související s výpočtovým modelem i nejistotu v prahových hodnotách a mezních hodnotách. Identifikace a charakterizace těchto hodnot umožňuje pro systém vypočítat poměry rozpětí k nejistotě (M / U). Tyto hodnoty M / U mohou sloužit jako kvantifikované vstupy, které mohou orgánům pomoci činit rozhodnutí informovaná o riziku, pokud jde o to, jak interpretovat a jednat podle výsledků založených na simulacích.

Obecný přehled procesu QMU.
Přehled obecného procesu QMU.

QMU uznává, že existuje několik typů nejistoty, které se šíří prostřednictvím modelu komplexního systému. Simulace v procesu QMU produkuje výstupní výsledky pro klíčové výkonové prahové hodnoty zájmu, známé jako nejistota nejlepšího odhadu plus (BE + U). Nejlepší odhadovaná složka BE + U představuje základní informaci, která je známá a pochopená o proměnných odezvy modelu. Základem, který umožňuje vysokou důvěru v tyto odhady, je obvykle dostatek dat experimentálních testů týkajících se sledovaného procesu, což umožňuje důkladnou validaci simulačního modelu.

Typy nejistoty, které přispívají k hodnotě BE + U, lze rozdělit do několika kategorií:[7]

  • Nejistá nejistota: Tento typ nejistoty je přirozeně přítomen v modelovaném systému a je někdy znám jako „neredukovatelná nejistota“ a „stochastická variabilita“. Mezi příklady patří procesy, které jsou přirozeně stochastické, jako jsou parametry poryvu větru a výrobní tolerance.
  • Epistemická nejistota: Tento typ nejistoty je způsoben nedostatkem znalostí o modelovaném systému a je také známý jako „redukovatelná nejistota“. Epistemická nejistota může být výsledkem nejistoty ohledně správných základních rovnic modelu, neúplných znalostí o celé sadě scénářů, se kterými je třeba se setkat, a nedostatku experimentálních údajů o testování definujících klíčové vstupní parametry modelu.

Systém může také trpět nejistotou požadavků souvisejících se specifikovanými prahovými hodnotami a okraji souvisejícími s požadavky systému. QMU uznává, že v některých situacích může mít návrhář systému vysokou důvěru v to, jaká může být správná hodnota pro konkrétní metriku, zatímco jindy může vybraná hodnota sama trpět nejistotou kvůli nedostatku zkušeností s fungováním v tomto konkrétním režimu. QMU se pokouší oddělit tyto hodnoty nejistoty a kvantifikovat každou z nich jako součást celkových vstupů do procesu.

QMU může také ovlivňovat lidskou chybu ve schopnosti identifikovat neznámé neznámé, které mohou ovlivnit systém. Tyto chyby lze do určité míry kvantifikovat prohlédnutím omezených experimentálních údajů, které mohou být k dispozici pro předchozí testy systému, a určením, jaké procento testů mělo za následek překročení prahových hodnot systému neočekávaným způsobem. Tento přístup se pokouší předpovědět budoucí události na základě minulých výskytů neočekávaných výsledků.

Základní parametry, které slouží jako vstupy do modelů, se často modelují jako vzorky z rozdělení pravděpodobnosti. Distribuce vstupních parametrů modelu a rovnice šíření modelu určují distribuci hodnot výstupních parametrů. Při určování toho, co je přijatelný poměr M / U pro danou proměnnou výkonu, je třeba vzít v úvahu distribuci konkrétní výstupní hodnoty. Pokud mez nejistoty pro U zahrnuje konečnou horní hranici kvůli konkrétnímu rozdělení této proměnné, může být přijatelný nižší poměr M / U. Pokud je však U modelováno jako normální nebo exponenciální distribuce, která může potenciálně zahrnovat odlehlé hodnoty ze vzdálených konců distribuce, může být vyžadována větší hodnota, aby se snížilo systémové riziko na přijatelnou úroveň.

Poměry přijatelného M / U pro systémy kritické z hlediska bezpečnosti se mohou u jednotlivých aplikací lišit. Studie uvádějí přijatelné poměry M / U v rozsahu 2: 1 až 10: 1 pro rozhodování o zásobách jaderných zbraní. Intuitivně, čím větší je hodnota M / U, tím méně dostupné marže výkonu je spotřebováno nejistotou ve výstupech simulace. Poměr 1: 1 by mohl vést k běhu simulace, kde není překročena prahová hodnota simulovaného výkonu, když ve skutečnosti mohla být spotřebována celá marže návrhu. Je důležité si uvědomit, že přísná QMU nezaručuje, že samotný systém je schopen splnit svou výkonnostní rezervu; slouží spíše k zajištění toho, aby rozhodovací orgán mohl činit úsudky na základě přesně charakterizovaných výsledků.

Základním cílem QMU je představit rozhodovacím orgánům informace, které plně charakterizují výsledky ve světle nejistoty, jak ji chápou vývojáři modelu. Tato prezentace výsledků umožňuje osobám s rozhodovací pravomocí přijímat informovaná rozhodnutí a zároveň porozumět tomu, jaké citlivosti existují ve výsledcích kvůli současnému chápání nejistoty. Zastánci QMU uznávají, že rozhodnutí pro složité systémy nelze činit striktně na základě kvantifikovaných M / U metrik. Před rozhodnutím o konečném výsledku musí být rozhodovacím orgánem zvážen i úsudek odborníka na předmět (SME) a ​​další vnější faktory, jako jsou názory zúčastněných stran a regulační otázky.[8]

Ověření a validace

Ověření a validace (V a V) modelu úzce souvisí s QMU.[9] Ověření je obecně uznáváno jako proces určování, zda byl model sestaven správně; ověřovací činnosti se zaměřují na určení, zda byl vytvořen správný model.[10] V&V proti dostupným datům experimentálních testů je důležitým aspektem přesné charakterizace celkové nejistoty proměnných odezvy systému. Společnost V&V usiluje o maximální využití dat experimentálních testů na úrovni komponentů a subsystémů k přesné charakterizaci vstupních parametrů modelu a modelů založených na fyzice spojených s konkrétními dílčími prvky systému. Použití QMU v simulačním procesu pomáhá zajistit, aby stochastická povaha vstupních proměnných (kvůli nejistým a epistemickým nejistotám) i základní nejistota v modelu byly správně zohledněny při určování simulačních běhů potřebných k vytvoření modelu důvěryhodnost před akreditací.

Výhody a nevýhody

QMU má potenciál podporovat lepší rozhodování pro programy, které se musí do značné míry spoléhat na modelování a simulaci. Výsledky modelování a simulace se častěji používají při pořizování, vývoji, konstrukci a testování složitých inženýrských systémů.[11] Jednou z hlavních výzev vývoje simulací je vědět, kolik věrnosti by mělo být zabudováno do každého prvku modelu. Snaha o vyšší věrnost může výrazně prodloužit dobu vývoje a celkové náklady na vývoj simulace. QMU poskytuje formální metodu pro popis požadované věrnosti ve vztahu k návrhovým prahovým okrajům pro klíčové proměnné výkonu. Tyto informace lze také použít k upřednostnění oblastí budoucích investic pro simulaci. Analýza různých poměrů M / U pro klíčové proměnné výkonu může pomoci identifikovat součásti modelu, které potřebují věrné upgrady, aby se zvýšila účinnost simulace.

Byly rovněž identifikovány různé potenciální problémy spojené s používáním QMU. QMU může vést k delšímu vývojovému rozvrhu a zvýšeným nákladům na vývoj v porovnání s tradičními simulačními projekty díky uplatnění další přísnosti. Zastánci QMU uvádějí, že požadovaná úroveň kvantifikace nejistoty je dána požadavky certifikace pro zamýšlené použití simulace. Simulace používané pro plánování schopností nebo analýzy obchodních systémů musí obecně modelovat trendy celkového výkonu analyzovaných systémů a komponent. U systémů kriticky důležitých z hlediska bezpečnosti, kde chybí data experimentálních zkoušek, však výsledky simulace představují zásadní vstup do rozhodovacího procesu. Dalším potenciálním rizikem souvisejícím s používáním QMU je falešný pocit důvěry v ochranu před neznámými riziky. Použití kvantifikovaných výsledků pro klíčové parametry simulace může vést osoby s rozhodovací pravomocí k přesvědčení, že všechna možná rizika byla plně zohledněna, což je pro složité systémy obzvláště náročné. Zastánci QMU se zasazují o rozhodovací proces informovaný o riziku, který by tomuto riziku čelil; v tomto paradigmatu se do konečného rozhodnutí vždy promítnou výsledky M / U i úsudek SME a další vnější faktory.

Viz také

Reference

  1. ^ Martin Pilch; Timothy G. Trucano a Jon C. Helton (září 2006). „Nápady spočívající v kvantifikaci marží a nejistot (QMU): bílá kniha“ (PDF). Zpráva Sandia National Laboratories SAND2006-5001.
  2. ^ D. Eardley; et al. (2005-03-25). „Kvantifikace marží a nejistot“ (PDF). JASON - Zpráva Mitre Corporation JASON o JSR-04-330. Citovat deník vyžaduje | deník = (Pomoc)
  3. ^ David H. Sharp & Merri M. Wood-Schultz (2003). „Certifikace QMU a jaderných zbraní - co se skrývá pod kapotou?“ (PDF). Věda Los Alamos. 28: 47–53.
  4. ^ Lee Peterson (23. června 2011). „Kvantifikace marží a nejistota (QMU): Proměna modelů a testovacích dat na důvěru mise“ (PDF). Workshop Keck Institute for Space XTerraMechanics.
  5. ^ William L. Oberkampf; et al. (Duben 2000). "Odhad celkové nejistoty v modelování a simulaci". Zpráva Sandia SAND2000-0824.
  6. ^ A. Kidane; et al. (2012). „Přísná kvantifikace nejistoty založená na modelu s aplikací na terminální balistiku, část I: Systémy s kontrolovatelnými vstupy a malým rozptylem“ (PDF). Journal of the Mechanics of Physics and Solids. 60 (5): 983–1001. Bibcode:2012JMPSo..60..983K. doi:10.1016 / j.jmps.2011.12.001.
  7. ^ Jon C. Helton; et al. (2009). „Koncepční a výpočetní základ pro kvantifikaci marží a nejistotu“ (PDF). Technická zpráva Sandia National Laboratories SAND2009-3055. Citovat deník vyžaduje | deník = (Pomoc)
  8. ^ B.J. Garrick & R.F. Christie (2002). „Pravděpodobnostní postupy posuzování rizik v USA pro jaderné elektrárny“. Bezpečnostní věda. 40 (1–4): 177–201. doi:10.1016 / s0925-7535 (01) 00036-4.
  9. ^ Národní rada pro výzkum národních akademií (2012). "Posouzení spolehlivosti komplexních modelů". Citovat deník vyžaduje | deník = (Pomoc)
  10. ^ W. L. Oberkampf; T. G. Trucano a C. Hirsch (2004). „Ověření, ověření a prediktivní schopnost ve výpočetním inženýrství a fyzice“ (PDF). Recenze aplikované mechaniky. 57 (5): 345–384. Bibcode:2004ApMRv..57..345O. doi:10.1115/1.1767847.
  11. ^ Panel Blue Ribbon o simulační technické vědě (2006). „Inženýrská věda založená na simulaci: Revoluce inženýrské vědy prostřednictvím simulace“ (PDF). Technická zpráva Národní vědecké nadace.