Zpětné testování - Backtesting
Zpětné testování je termín používaný v modelování k označení testování a prediktivní model na historických datech. Zpětné testování je typ retrodiction a speciální typ křížová validace aplikováno na předchozí časové období.
Finanční analýza
V obchodní strategii, investiční strategii nebo modelování rizik se backtesting snaží odhadnout výkon strategie nebo modelu, pokud byl použit v minulém období. To vyžaduje simulaci minulých podmínek s dostatečnými podrobnostmi, což znamená jedno omezení zpětného testování potřeby podrobných historických dat. Druhým omezením je neschopnost modelovat strategie, které by ovlivnily historické ceny. A konečně, zpětné testování, stejně jako jiné modelování, je omezeno potenciálem nadměrné vybavení. To znamená, že je často možné najít strategii, která by fungovala dobře v minulosti, ale nebude fungovat dobře ani v budoucnu.[1] Navzdory těmto omezením poskytuje zpětné testování informace, které nejsou k dispozici, když jsou modely a strategie testovány na syntetických datech.
Zpětné testování historicky prováděly pouze velké instituce a profesionální peněžní manažeři kvůli nákladům na získávání a používání podrobných datových souborů. Backtrading se však stále více používá na širším základě a objevily se nezávislé platformy pro zpětné testování založené na webu. Ačkoli je tato technika široce používána, je náchylná ke slabostem.[2] Basilejské finanční předpisy vyžadovat, aby velké finanční instituce provedly zpětné testování určitých modelů rizik.
Pro Hodnota v riziku 1 den při 99% zpětně testováno 250 dní v řadě, test je považován za zelený (0-95%), oranžový (95-99,99%) nebo červený (99,99-100%) v závislosti na následující tabulce:[3]
| Zóna | Počet výjimek | Pravděpodobnost | Cumul |
|---|---|---|---|
| Zelená | 0 | 8.11% | 8.11% |
| 1 | 20.47% | 28.58% | |
| 2 | 25.74% | 54.32% | |
| 3 | 21.49% | 75.81% | |
| 4 | 13.41% | 89.22% | |
| oranžový | 5 | 6.66% | 95.88% |
| 6 | 2.75% | 98.63% | |
| 7 | 0.97% | 99.60% | |
| 8 | 0.30% | 99.89% | |
| 9 | 0.08% | 99.97% | |
| Červené | 10 | 0.02% | 99.99% |
| 11 | 0.00% | 100.00% | |
| ... | ... | ... |
Pro Hodnota v riziku 10 dní při 99% zpětně testovaných 250 dní v řadě je test považován za zelený (0-95%), oranžový (95-99,99%) nebo červený (99,99-100%) v závislosti na následující tabulce:
| Zóna | Počet výjimek | Pravděpodobnost | Cumul |
|---|---|---|---|
| Zelená | 0 | 36.02% | 36.02% |
| 1 | 15.99% | 52.01% | |
| 2 | 11.58% | 63.59% | |
| 3 | 8.90% | 72.49% | |
| 4 | 6.96% | 79.44% | |
| 5 | 5.33% | 84.78% | |
| 6 | 4.07% | 88.85% | |
| 7 | 3.05% | 79.44% | |
| 8 | 2.28% | 94.17% | |
| oranžový | 9 | 1.74% | 95.91% |
| ... | ... | ... | |
| 24 | 0.01% | 99.99% | |
| Červené | 25 | 0.00% | 99.99% |
| ... | ... | ... |
Hindcast
v oceánografie[5] a meteorologie,[6] zpětné testování je také známý jako hindcasting: a Hindcast je způsob testování a matematický model; vědci zadávají známé nebo pečlivě odhadované vstupy pro minulé události do modelu, aby zjistili, jak dobře se výstup shoduje se známými výsledky.
Hindcasting obvykle označuje a numerický model integrace historického období, kdy nebyla pozorována asimilovaný. To odlišuje běh hindcast od a opětovná analýza. Oceánografická pozorování slanost a teplota stejně jako pozorování parametry povrchových vln tak jako významná výška vlny jsou mnohem vzácnější než meteorologická pozorování, takže překážky jsou častější v oceánografii než v meteorologii. Protože povrchové vlny představují vynucený systém, kde vítr je jedinou generující silou, vlna hindcasting je často považován za adekvátní pro generování přiměřené reprezentace vlny klima s malou potřebou úplné reanalýzy. Hydrologové používají pro modelové toky toku hindcasting.[7]
Příkladem hindcastingu by bylo zadání klima síly (události, které si vynutí změnu) do a klimatický model. Pokud by překážka ukázala přiměřeně přesnou reakci na klima, model by byl považován za úspěšný.
The Re-analýza ECMWF je příkladem kombinované atmosférické reanalýzy spojené s integrací vlnového modelu, kde nebyly asimilovány žádné vlnové parametry, čímž se vlnová část stala překážkou.
Nezamýšlené výsledky aplikace
V roce 2003 původně Dake Chen a jeho kolegové „vycvičil“ počítač s využitím údajů o povrchové teplotě oceánů z posledních 20 let.[8]
Poté, co „proškolili“ počítač, provedli cvičení překážek pomocí údajů, které byly shromážděny o povrchové teplotě oceánů v období 1857–2003. Nejen, že zjistili, že jejich simulace přesně předpovídala každý El Niño událost za posledních 148 let, ale také objevili - jako zcela „nezamýšlený důsledek „tohoto cvičení - že jejich simulace také identifikovala (až 2 roky) hrozící předzvěst každou jednu z těch událostí El Niño.[9]
Viz také
Reference
- ^ BacktestBroker. „Opravdu funguje zpětné testování?“.
- ^ FinancialTrading (2013-04-27). „Problémy související se zpětným testováním“.
- ^ „Rámec dohledu pro použití„ zpětného testování “ve spojení s přístupem interních modelů k kapitálovým požadavkům tržního rizika“ (PDF). Basilejský výbor pro bankovní dohled. Ledna 1996. str. 14.
- ^ Převzato ze str. 145 ze dne Yeates, L.B., Myšlenkové experimenty: kognitivní přístup, Disertační práce Diploma in Arts (By Research), University of New South Wales, 2004.
- ^ "Hindcast přístup". OceanWeather Inc.. Citováno 22. ledna 2013.
- ^ Huijnen, V .; J. Flemming; J. W. Kaiser; A. Inness; J. Leitão; A. Heil; H. J. Eskes; M. G. Schultz; A. Benedetti; J. Hadji-Lazaro; G. Dufour; M. Eremenko (2012). „Hindcast experimenty s troposférickým složením během letních požárů 2010 nad západním Ruskem“. Atmos. Chem. Phys. 12 (9): 4341–4364. Bibcode:2012ACP .... 12.4341H. doi:10.5194 / acp-12-4341-2012. Citováno 22. ledna 2013.
- ^ „Pokyny pro provádění hindcastingu streamflow v CHPS“ (PDF). NOAA. Citováno 22. ledna 2013.
- ^ Chen, D., Cane, M.A., Kaplan, A., Zebiak, S.E. & Huang, D., „Předvídatelnost El Niño za posledních 148 let“, Příroda, Sv. 428, č. 6984, (15. dubna 2004), str. 733-736; Anderson, D., „Testovací čas pro El Niño“, Příroda, Sv. 428, č. 6984 (15. dubna 2004), str. 709, 711.
- ^ Hindcasting nejen prokázal, že počítačové simulační modely mohou předvídat nástup klimatických událostí El Niño ze změn teploty povrchové teploty oceánu, ke kterým dochází až o dva roky dříve - což znamená, že nyní byly potenciálně nejméně 2 roky. “ dodací lhůta - ale z výsledků také vyplývalo, že události El Niño se zdály být důsledky nějaké kauzální pravidelnosti; a proto nebyly způsobeny prostou náhodou nebo jinou „chaotickou“ událostí.