Kalibrované hodnocení pravděpodobnosti - Calibrated probability assessment

Kalibrovaná hodnocení pravděpodobnosti jsou subjektivní pravděpodobnosti přiřazené jednotlivci, kteří byli proškoleni k hodnocení pravděpodobností způsobem, který historicky představuje jejich nejistotu.[1][2] Například když si člověk kalibruje situaci a řekne, že si je „80% jistý“ v každé ze 100 předpovědí, které provede, dostane asi 80% z nich správných. Stejně tak budou mít 90% času pravdu, když říkají, že jsou si na 90% jistí atd.

Kalibrační trénink zlepšuje subjektivní pravděpodobnosti, protože většina lidí je buď „sebevědomá“, nebo „nedůvěřivá“ (obvykle první).[3] Procvičováním řady drobných otázek je možné, aby subjekty doladily svou schopnost posoudit pravděpodobnosti. Například může být subjekt požádán:

Pravda nebo lež: „Hokejový puk se vejde do golfové jamky“
Důvěra: Vyberte pravděpodobnost, která nejlépe odpovídá vaší šanci dostat tuto otázku správně ...
50% 60% 70% 80% 90% 100%

Pokud člověk vůbec netuší, řekne, že si je jen 50% jistý. Pokud jsou si naprosto jistí, že mají pravdu, řeknou 100%. Ale většina lidí odpoví někde mezi tím. Pokud je kalibrované osobě položeno velké množství takových otázek, dostane asi tolik správných, kolik očekávali. Nekalibrovaná osoba, která je systematicky nadměrně sebevědomá, může říci, že má 90% jistotu ve velkém počtu otázek, kde je správná pouze u 70%. Na druhou stranu nekalibrovaná osoba, která je systematicky nedůvěřivá, může říci, že má 50% důvěru v velký počet otázek, kde ve skutečnosti získá 70% z nich správných.

Alternativně bude účastník vyzván k zadání číselného rozsahu pro otázku typu: „V jakém roce napadl Napoleon Rusko?“ S instrukcí, že poskytnutý rozsah má představovat 90% interval spolehlivosti. To znamená, že účastník testu by měl mít 90% jistotu, že rozsah obsahuje správnou odpověď.

Kalibrační trénink obecně zahrnuje absolvování těchto testů. Mezi testy je poskytována zpětná vazba a subjekty upřesňují své pravděpodobnosti. Kalibrační trénink může také zahrnovat osvojení dalších technik, které pomáhají kompenzovat konzistentní nadměrnou nebo nedůvěru. Vzhledem k tomu, že subjekty lépe umisťují kurzy, když předstírají, že sázejí peníze,[4] předměty se učí, jak převést kalibrační otázky na typ sázkové hry, která zlepšuje jejich subjektivní pravděpodobnost.[5] Byly vyvinuty různé metody spolupráce, jako např predikční trh, aby bylo možné zohlednit subjektivní odhady od více jednotlivců.

Stochastické metody modelování, jako je Metoda Monte Carlo často používají subjektivní odhady od „odborníků na předmět“. Výzkum ukazuje, že tito odborníci budou velmi pravděpodobně statisticky nadměrně sebevědomí a jako takový bude mít model tendenci podceňovat nejistotu a riziko. Kalibrační trénink se používá ke zvýšení schopnosti člověka poskytovat přesné odhady stochastických metod. Výzkum zjistil, že většina lidí by mohla být kalibrována, pokud si udělali čas a že kalibrace osoby, tj. Výkon při poskytování přesných odhadů, se přenáší na odhady poskytované pro obsah mimo školení kalibrace, jako je oblast práce dané osoby.[6] Taková kalibrace mohla zlepšit přesnost jen do určité míry a navrhla kromě kalibrace odborníků i použití korekčních technologií. [7]

The Aplikovaná informační ekonomie metoda systematicky využívá trénink kalibrace jako součást procesu modelování rozhodnutí.

Kritika kalibrace Jeden ze zjištění v Kalibrace pravděpodobností: Stav techniky do roku 1980 spočíval v tom, že trénink může zlepšit kalibraci jen v omezené míře (Lichtenstein et al. 1981).

Viz také

Reference

  1. ^ S. Lichtenstein, B. Fischhoff a L. D. Phillips, „Kalibrace pravděpodobností: stav techniky do roku 1980“, v Rozsudek pod nejistotou: Heuristika a předsudky, vyd. D. Kahneman a A. Tversky (Cambridge University Press, 1982)
  2. ^ J. Edward Russo, Paul J. H. Schoemaker Rozhodovací pasti Simon & Schuster, 1989
  3. ^ Regina Kwon, „Problém pravděpodobnosti“, Baseline Magazine, 10. prosince 2001
  4. ^ B. Fischhoff, L. D. Phillips a S. Lichtenstein, „Kalibrace pravděpodobností: nejmodernější stav do roku 1980“, v Judgment in Unřesnost: Heuristics and Biases, ed. D. Kahneman a A. Tversky (Cambridge University Press, 1982)
  5. ^ Douglas Hubbard „Jak cokoli měřit: Zjištění hodnoty nehmotných aktiv v podnikání“ John Wiley & Sons, 2007
  6. ^ Kynn, M. (2008), „Heuristics and biases“ zaujatost v elicitaci odborníků. Journal of the Royal Statistical Society: Series A (Statistics in Society), 171: 239-264. doi: 10.1111 / j.1467-985X.2007.00499.x
  7. ^ Lichtenstein, S., & Fischhoff, B. (1980). Školení pro kalibraci. Organizační chování a lidská výkonnost, 26 (2), 149-171. doi: 10.1016 / 0030-5073 (80) 90052-5

externí odkazy