Audit citlivosti - Sensitivity auditing

Audit citlivosti je příponou Analýza citlivosti pro použití v modelových studiích relevantních z hlediska politiky. Jeho použití se doporučuje - např. v pokynech Evropské komise pro posuzování dopadů[1] a Evropskými vědeckými akademiemi[2]- když Analýza citlivosti (SA) studie založené na modelu má demonstrovat spolehlivost důkazů poskytnutých modelem, ale v kontextu, kdy se závěr odvozuje od politiky nebo rozhodovacího procesu.[3]

Přístup

V prostředích, kde se vědecká práce promítá do politiky, může být rámcování analýzy, její institucionální kontext a motivace jejího autora vysoce relevantní a čistá SA - se zaměřením na parametrickou (tj. Kvantifikovanou) nejistotu - může být nedostatečná. Důraz na rámec může mimo jiné vyplývat z relevance politické studie pro různé volební obvody, které se vyznačují odlišnými normami a hodnotami, a tedy i jiným příběhem o tom, „v čem je problém“, a především o tom, „kdo je vyprávění příběhu “. Rámování nejčastěji zahrnuje implicitní předpoklady, které mohou být politické (např. Kterou skupinu je třeba chránit) až po technické (např. S ​​jakou proměnnou lze zacházet jako s konstantou).

Aby bylo možné tyto obavy náležitě zohlednit, rozšiřuje audit citlivosti nástroje nástroje Analýza citlivosti poskytnout posouzení celého procesu vytváření znalostí a modelů. Vyžaduje to inspiraci NUSAP,[4] metoda používaná ke kvalifikaci hodnoty (kvality) kvantitativních informací generováním `` Rodokmenů`` čísel. Podobně byl vyvinut audit citlivosti, aby poskytoval rodokmeny modelů a modelové závěry.[3] Audit citlivosti je vhodný zejména v kontradiktorním kontextu, kde je předmětem stranických zájmů nejen povaha důkazů, ale také míra jistoty a nejistoty spojené s důkazy. Toto jsou nastavení uvažovaná v Post-normální věda[5] nebo v Režim 2[6] Věda. Post-normální věda (PNS) je koncept vyvinutý společností Silvio Funtowicz a Jerome Ravetz,[5][7][8] který navrhuje metodologii vyšetřování, která je vhodná, když „fakta jsou nejistá, sporné hodnoty, vysoké sázky a naléhavá rozhodnutí“ (Funtowicz a Ravetz, 1992:[8] 251–273). Režim 2 Věda, kterou v roce 1994 vytvořili Gibbons a kol., Odkazuje na způsob produkce vědeckých poznatků, který je založen na kontextu, je zaměřen na problém a je interdisciplinární. Carrozza (2015)[9] nabízí diskusi o těchto pojmech a přístupech. Audit citlivosti - společně s post-normální věda je jedním z objektivů doporučených pro studium udržitelnosti[10].

Audit citlivosti doporučuje Evropská komise pro použití v posouzení dopadů za účelem zlepšení kvality důkazů založených na modelech používaných k podpoře politických rozhodnutí.[1] Podobná doporučení lze najít ve zprávě Evropské akademie pro vědu pro politiku SAPEA[2].

Pravidla

Audit citlivosti je shrnut do sedmi pravidel nebo hlavních zásad:

  1. Porovnejte s rétorickým využitím matematického modelování. Otázka řešená: používá se model k objasnění nebo ke zmatení ?;
  2. Přijměte postoj „předpoklad lovu“. Otázka byla vyřešena: co se předpokládalo? Jaké jsou tiché, předanalytické, případně normativní předpoklady, z nichž tato analýza vychází ?;
  3. Detect Garbage In Garbage Out (GIGO). Řešení problému: umělá deflace nejistoty funguje s cílem dosáhnout požadovaného závěru při požadované úrovni spolehlivosti. Funguje také na obráceném postupu, umělé inflaci nejistot, např. odrazovat od regulace;
  4. Najděte citlivé předpoklady, než vás najdou. Řešení problému: před zveřejněním výsledků předvídejte kritiku prováděním pečlivých domácích úkolů pomocí analýz citlivosti a nejistoty.
  5. Zaměřte se na transparentnost. Řešení problému: zúčastněné strany by měly být schopny pochopit a případně replikovat výsledky analýzy;
  6. Udělejte správné částky, což je důležitější než `Udělejte správné částky '. Řešení problému: je opomíjeno hledisko relevantní zúčastněné strany? Kdo rozhodl, že došlo k problému a v čem byl problém?
  7. Zaměřte analýzu na klíčovou otázku zodpovězenou modelem a prozkoumejte celý prostor předpokladů holisticky. Řešení problému: neprovádějte povrchní analýzy, které by jen „škrábaly povrch“ potenciálních nejistot systému.

První pravidlo se zaměřuje na instrumentální využití matematického modelování k prosazování agendy. Toto použití se nazývá rétorické nebo strategické, jako použití latiny ke zmatení nebo popletení partnera.

Druhým pravidlem o „lovu na předpoklady“ je připomenutí hledat, co se předpokládalo, když byl model původně zarámován. Režimy jsou plné ceteris paribus předpoklady. Například v ekonomii může model předpovědět výsledek šoku dané sadě rovnic za předpokladu, že všechny ostatní - všechny ostatní vstupní proměnné a vstupy - zůstanou stejné, ale v reálném životě „ceteris“ nikdy nejsou „paribus“ , což znamená, že proměnné mají tendenci být navzájem propojeny, takže se nemohou realisticky měnit nezávisle na sobě.

Pravidlo tři je o umělém přehánění nebo snižování nejistot, kdykoli je to vhodné. Tabákové lobby přehánělo nejistotu ohledně zdravotních účinků kouření podle Oreskes a Conwaye,[11] zatímco zastánci trestu smrti snižovali nejistoty v negativních vztazích mezi trestem smrti a kriminalitou.[12] Ten zjevně chtěl politiku, v tomto případě trest smrti, a měl zájem ukázat, že podpůrné důkazy jsou silné. V prvním případě lobby nechtěly regulaci (např. Zákaz kouření tabáku na veřejných místech), a proto se zajímaly o zesílení nejistoty ve vztahu kauzality vlivu kouření na zdraví.

Pravidlo čtyři pojednává o „přiznání“ nejistot před zveřejněním analýzy. Toto pravidlo je také jedním z přikázání aplikované ekonometrie podle Kennedyho:[13] "Přiznáš se v přítomnosti citlivosti." Dodatek: Budeš očekávat kritiku. “ Podle tohoto pravidla a Analýza citlivosti by mělo být provedeno před zveřejněním výsledků modelové studie. Existuje mnoho dobrých důvodů, z nichž jeden je pečlivě proveden Analýza citlivosti často odhalí prosté chyby v kódování nebo modelové nedostatky. Druhým důvodem je, že analýza častěji odhaluje nejistoty, které jsou větší, než očekávají vývojáři modelů.

Pravidlo pět se týká transparentní prezentace výsledků modelové studie. Obě pravidla pocházejí z praxe posuzování dopadů, kdy může být zúčastněnými stranami odmítnuta modelová studie předložená bez řádné SA nebo jako pocházející z modelu, který je ve skutečnosti černou skříní.[14] Pravidla čtyři i pět naznačují, že reprodukovatelnost může být podmínkou transparentnosti a že tato možnost může být podmínkou legitimity.[15]

Pravidlo šest, týkající se stanovení správné částky, není daleko od pravidla „domněnky lovu“; je to jen obecnější. Zabývá se skutečností, že analytik je často připraven pracovat na analýze svévolně koncipované ve prospěch strany. Někdy k tomu dojde výběrem disciplíny vybrané k provedení analýzy. Problém dopadu na životní prostředí tedy může být formován objektivy ekonomie a může být prezentován jako analýza nákladů a přínosů nebo rizik, zatímco problém má málo společného s náklady nebo přínosy nebo riziky a hodně souvisí se zisky, kontrolami a normami. Příklad je v Marris et al.[16] v otázce GMO, které jsou ve veřejném diskurzu většinou prezentovány jako otázka bezpečnosti potravin, zatímco spektrum obav odpůrců GMO - včetně laických občanů - se jeví širší. Přístup, který rozšiřuje toto konkrétní pravidlo na spektrum věrohodných rámců, je tzv Kvantitativní vyprávění.

Pravidlo sedm je o vyhýbání se povrchnímu Analýza citlivosti. SA, kde se každý nejistý vstup pohybuje najednou, zatímco všechny ostatní vstupy zůstávají pevné, je povrchní.[17] Skutečný SA by se měl poctivě snažit prozkoumat všechny nejistoty současně a ponechat modelu volnost v zobrazení plného nelineárního a případně neaditivního chování. Podobný bod uvádí kniha Sama L. Savagee „Chyba průměrů“.[18]

Otázky řešené auditováním citlivosti

Závěrem lze říci, že tato pravidla mají analytikovi pomoci předvídat kritiku, zejména pokud jde o modelové závěry, které se promítají do posouzení dopadů. Jaké otázky a námitky může modelář obdržet? Zde je možný seznam:

  • Zacházeli jste s X jako s konstantou, když víme, že je nejistá alespoň o 30%
  • Bylo by dostačující pro 5% chybu v X, aby vaše prohlášení o Z bylo křehké
  • Váš model je pouze jedním z věrohodných modelů - zanedbali jste nejistotu modelu
  • Instrumentálně jste maximalizovali úroveň důvěry ve výsledky
  • Váš model je a Černá skříňka - proč bych měl důvěřovat vašim výsledkům?
  • Uměle jste nafoukli nejistotu
  • Vaše rámování není sociálně robustní
  • Odpovídáte na špatnou otázku

Audit citlivosti v pokynech Evropské komise

Audit citlivosti je popsán v pokynech Evropské komise pro posuzování dopadů[1]. Relevantní výňatky jsou (str. 392):

„[…] Pokud mezi zúčastněnými stranami dojde k velké neshodě ohledně povahy problému,… pak je vhodnější provést audit citlivosti, ale jako jeden z kroků kontroly citlivosti je stále doporučena analýza citlivosti.“
„Audit citlivosti […] je širší úvaha o dopadu všech typů nejistoty, včetně strukturálních předpokladů zakotvených v modelu a subjektivních rozhodnutí přijatých v rámci řešení problému.“
„Konečným cílem je otevřeně a čestně komunikovat o tom, do jaké míry lze konkrétní modely použít k podpoře politických rozhodnutí a jaké jsou jejich omezení.“
„Audit citlivosti obecně zdůrazňuje myšlenku poctivě informovat o tom, do jaké míry lze výsledkům modelu důvěřovat, přičemž je třeba co nejvíce zohlednit všechny formy potenciální nejistoty a předjímat kritiku třetích stran.“

Zpráva SAPEA

Sdružení evropských akademií pro politiku SAPEA podrobně popisuje audit citlivosti ve své zprávě z roku 2019 s názvem „Smysl pro vědu pro politiku v podmínkách složitosti a nejistoty ”[2].

Aplikace

Uplatňování konceptů z auditu citlivosti se týká studie OECD-PISA[19], zabezpečení potravin[20], výživa[21]ekologická stopa[22].

Vývoj

Audit citlivosti patří mezi nástroje doporučené v kontextu možného etika kvantifikace,[23][24] jehož cílem je identifikovat společné etické prvky v různých problémech viděných při kvantifikaci, jako je fixace metrik[25]zneužití statistik[26]špatné modelování[27] a neetické algoritmy[28].

Reference

  1. ^ A b C Evropská komise. (2015). Pokyny k posuzování dopadů - Evropská komise Pokyny Evropské komise pro zlepšování právní úpravy
  2. ^ A b C Vědecké rady pro politiku evropských akademií, Smysl pro vědu pro politiku v podmínkách složitosti a nejistoty, Berlín, 2019.
  3. ^ A b Saltelli, A., van der Sluijs, J., Guimarães Pereira, AA, 2013, Funtowiz, S.O., Co udělám z vašeho Latinorum? Citlivostní audit matematického modelování, International Journal Foresight and Innovation Policy, 9 (2/3/4), 213–234.
  4. ^ Van der Sluijs JP, Craye M, Funtowicz S, Kloprogge P, Ravetz J, Risbey J (2005) Kombinace kvantitativních a kvalitativních měr nejistoty v hodnocení životního prostředí založeném na modelu: systém NUSAP. Analýza rizik 25 (2): 481-492
  5. ^ A b Funtowicz, S. O. & Ravetz, J. R. 1993. Věda pro post-normální věk. Futures, 25 (7), 739–755.
  6. ^ Gibbons, Michael; Camille Limoges; Helga Nowotny; Simon Schwartzman; Peter Scott; Martin Trow (1994). Nová produkce znalostí: dynamika vědy a výzkumu v současných společnostech. London: Sage. ISBN  0-8039-7794-8.
  7. ^ Funtowicz, S.O. a Jerome R. Ravetz (1991). „Nová vědecká metodika pro globální problémy životního prostředí.“ In Ecological Economics: The Science and Management of Sustainability. Vyd. Robert Costanza. New York: Columbia University Press: 137–152.
  8. ^ A b Funtowicz, S. O., & Ravetz, J. R. 1992. Tři typy hodnocení rizik a vznik postnormální vědy. In S. Krimsky & D. Golding (Eds.), Social theories of risk (pp. 251–273). Westport, CT: Greenwood.
  9. ^ Carrozza, C., 2015. „Demokratizující odborné znalosti a správa životního prostředí: různé přístupy k politice vědy a jejich význam pro analýzu politiky“, Journal of Environmental Policy & Planning, 17 (1), 108-126.
  10. ^ Saltelli, A., Benini, L., Funtowicz, S., Giampietro, M., Kaiser, M., Reinert, E. S., & van der Sluijs, J. P. (2020). Technika není nikdy neutrální. Jak jsou metodické volby podmíněny vytvářením narativů pro udržitelnost. Věda o životním prostředí a politika, svazek 106, duben 2020, strany 87-98, https://doi.org/10.1016/j.envsci.2020.01.008
  11. ^ Oreskes N, Conway EM (2010) Obchodníci pochybností: Jak hrstka vědců zakryla pravdu o problémech od tabákového kouře po globální oteplování. Bloomsbury Press, New York.
  12. ^ Leamer EE (2010) Tantalus na cestě k asymptopii. Journal of Economic Perspectives 4 (2): 31-46.
  13. ^ Kennedy, P. (2007) A Guide to Econometrics, 5. vydání, str. 396, Blackwell Publishing, Oxford.
  14. ^ Saltelli, A., Funtowicz, S., 2014, When all models are wrong: Prísnější kritéria kvality jsou zapotřebí pro modely používané na rozhraní science-policy, Issues in Science and Technology, Winter 2014, 79-85.
  15. ^ Saltelli, A., Funtowicz, S., 2015 Evidence-based policy at the end of the Cartesian Dream: The case of matematic modeling, in "The end of the Cartesian dream", Edited by Angela Guimarães Pereira, and Silvio Funtowicz, Routledge , str. 147-162.
  16. ^ Marris, C., Wynne, B., Simmons, P. a Weldon, Sue. 2001. Závěrečná zpráva výzkumného projektu PABE financovaného Komisí Evropských společenství, číslo smlouvy: FAIR CT98-3844 DG12-SSMI) prosinec, Lancaster: University of Lancaster.
  17. ^ Saltelli, A., Annoni, P., 2010, Jak se vyhnout povrchní analýze citlivosti, Environmental Modeling and Software, 25, 1508-1517 https://doi.org/10.1016/j.envsoft.2010.04.012.
  18. ^ Savage SL (2009) Chyba průměrů: Proč podceňujeme riziko tváří v tvář nejistotě, Wiley.
  19. ^ L. Araujo, A. Saltelli a S. V. Schnepf, „Ospravedlňují data PISA vzdělávací politiku založenou na PISA?“ Int. J. Comp. Educ. Dev., Sv. 19, č. 1, s. 20–34, 2017 https://doi.org/10.1108/IJCED-12-2016-0023.
  20. ^ A. Saltelli a S. Lo Piano, „Problematická kvantifikace: kritické hodnocení tvorby scénářů pro globální„ udržitelnou “výrobu potravin,“ Food Ethics, sv. 1, č. 2, s. 173–179, 2017 https://doi.org/10.1007/s41055-017-0020-6.
  21. ^ S. Lo Piano a M. Robinson, „Výživa a ekonomické hodnocení veřejného zdraví pod optikou post normální vědy,“ Futures, sv. 112, s. 102436, září 2019 https://doi.org/10.1016/j.futures.2019.06.008.
  22. ^ A. Galli a kol., „Zpochybňování ekologické stopy“, Ecol. Indic., Sv. 69, s. 224–232, říjen 2016.
  23. ^ Saltelli, A. (2019). Statistické versus matematické modelování: krátký komentář. Nature Communications, 10, 1–3. https://doi.org/10.1038/s41467-019-11865-8.
  24. ^ Saltelli, A. (2020). Etika kvantifikace nebo kvantifikace etiky? Futures, https://doi.org/10.1016/j.futures.2019.102509.
  25. ^ Muller, J. Z. (2018). Tyranie metrik. Princeton University Press.
  26. ^ Wasserstein, R. L. a Lazar, N.A. (2016). Prohlášení ASA k hodnotám p: kontext, proces a účel. Americký statistik, 70 (2), 129–133.
  27. ^ Saltelli, A. (2018). Měla by statistika zachránit matematické modelování? ArXiv, arXiv: 1712 (06457.
  28. ^ O’Neil, C. (2016). Zbraně matematického ničení: jak velká data zvyšují nerovnost a ohrožují demokracii. Random House Publishing Group.