Změnit detekci - Change detection

Roční objem řeky Nilu v Asuán, příklad dat časových řad běžně používaných při detekci změn. Tečkovaná čára označuje zjištěný bod změny.^[1]

v Statistická analýza, detekce změn nebo detekce změny bodu se snaží identifikovat časy, kdy rozdělení pravděpodobnosti a stochastický proces nebo časové řady Změny. Obecně se problém týká jak detekce, zda ke změně došlo, nebo zda mohlo dojít k několika změnám, a identifikace časů těchto změn.

Specifické aplikace, jako kroková detekce a Detekce hrany, může být znepokojen změnami v znamenat, rozptyl, korelace nebo spektrální hustota procesu. Obecněji detekce změn zahrnuje také detekci anomálního chování: detekce anomálií.

Úvod

A časové řady měří postup jedné nebo více veličin v průběhu času. Například výše uvedený obrázek ukazuje hladinu vody v Nil řeka mezi lety 1870 a 1970. Detekce bodu změny se týká zjištění, zda, a pokud ano když, chování série se významně mění. V příkladu řeky Nil se objem vody významně mění po vybudování přehrady v řece. Důležité je, že anomální pozorování, která se liší od probíhajícího chování časové řady, se obecně nepovažují za body změny, pokud se série poté vrátí k předchozímu chování.

Matematicky můžeme popsat časovou řadu jako uspořádanou posloupnost pozorování ${displaystyle (x_ {1}, x_ {2}, ldots)}$ . Můžeme napsat společná distribuce podmnožiny ${displaystyle x_ {a: b} = (x_ {a}, x_ {a + 1}, ldots, x_ {b})}$ časové řady jako ${displaystyle p (x_ {a: b})}$ . Pokud je cílem zjistit, zda došlo k bodu změny najednou ${displaystyle au}$ v konečné časové délce ${displaystyle T}$ , pak se opravdu ptáme, zda ${displaystyle p (x_ {1: au})}$ rovná se ${displaystyle p (x_ {au +1: T})}$ . Tento problém lze zobecnit na případ více než jednoho bodu změny.

Problém detekce bodu změny lze dále zúžit na konkrétnější problémy. v offline detekce změny bodu se předpokládá, že sekvence délky ${displaystyle T}$ je k dispozici a cílem je zjistit, zda se v sérii vyskytly nějaké body změny. Toto je příklad post hoc analýza a je často oslovován pomocí testování hypotéz metody. Naproti tomu online Detekce bodu změny se týká detekce bodů změny v příchozím datovém proudu.

Detekce online změn

Za použití sekvenční analýza („online“) přístup, jakýkoli test změn musí provést kompromis mezi těmito běžnými metrikami:

V Bayes problém s detekcí změn, je pro dobu změny k dispozici předchozí distribuce.

Detekce online změn se také provádí pomocí streamovací algoritmy.

Detekce změn Minimax

v minimax detekce změn, cílem je minimalizovat očekávané zpoždění detekce u některých nejhorších případů distribuce času změny, s výhradou nákladů nebo omezení falešných poplachů.

Klíčovou technikou pro detekci změn minimax je CUSUM postup.

Detekce změn offline

Diskutuje Basseville (1993, část 2.6) offline detekce změny v průměru s testováním hypotéz na základě prací Page^[2] a Picard^[3] a odhad maximální pravděpodobnosti času změny související s dvoufázová regrese Jiné přístupy používají shlukování na základě odhad maximální věrohodnosti,^{[Citace je zapotřebí ]} nebo použít optimalizace odvodit počet a časy změn.^[4]

„Offline“ přístupy nelze použít pro streamování dat, protože je třeba je porovnávat se statistikami celé časové řady a nemohou reagovat na změny v reálném čase, ale často poskytují přesnější odhad doby a rozsahu změny.

Aplikace detekce změn

Testy detekce změn se často používají ve výrobě (kontrola kvality ), detekce narušení, filtrování spamu, sledování webových stránek a lékařská diagnostika.

Detekce jazykových změn

Jazykové detekce změn označuje schopnost detekovat změny na úrovni slov napříč více prezentacemi stejné věty. Vědci zjistili, že množství sémantický překrytí (tj. příbuznost) mezi změněným slovem a novým slovem ovlivňuje snadnost, s jakou je taková detekce provedena (Sturt, Sanford, Stewart, & Dawydiak, 2004). Další výzkum zjistil, že soustředění pozornosti na slovo, které se během počátečního čtení původní věty změní, může zlepšit detekci. To se ukázalo pomocí kurzíva text zaměřit pozornost, přičemž slovo, které se bude měnit, je v původní větě kurzívou (Sanford, Sanford, Molle, & Emmott, 2006), stejně jako použití rozštěp stavby jako „Bylo to strom, který potřeboval vodu. “(Kennette, Wurm, & Van Havermaet, 2010). Tyto fenomény detekce změn se zdají být robustní, dokonce i cross-lingvisticky, když dvojjazyční čtou původní větu rodný jazyk a změněnou větu v jejich druhý jazyk (Kennette, Wurm & Van Havermaet, 2010). V poslední době vědci zjistili změny na úrovni slov v sémantice v čase pomocí výpočetní analýzy časových korpusů (například: slovo "gay" has postupem času získal nový význam) pomocí detekce bodu změny.^[5]

Viz také

Strukturální zlom —Změna struktury modelu
Teorie detekce
Testování hypotéz
Rychlost vyvolání
Provozní charakteristika přijímače

Reference

^ van den Burg, Gerrit J. J .; Williams, Christopher K.I. (26. května 2020). "Vyhodnocení algoritmů detekce bodu změny". arXiv:2003.06222 [stat.ML ].
^ Page, E. S. (červen 1957). Msgstr "O problémech, při kterých dojde ke změně parametru v neznámém bodě". Biometrika. 44 (1/2): 248–252. doi:10.1093 / biomet / 44.1-2.248. JSTOR 2333258.
^ Picard, Dominique (1985). "Testování a odhad změnových bodů v časové řadě". Pokroky v aplikované pravděpodobnosti. 17 (4): 841–867. doi:10.2307/1427090. JSTOR 1427090.
^ Yao, Yi-Ching (01.02.1988). Msgstr "Odhad počtu bodů změny pomocí Schwarzova kritéria". Statistiky a pravděpodobnostní dopisy. 6 (3): 181–189. doi:10.1016/0167-7152(88)90118-6. ISSN 0167-7152.
^ Kulkarni Vivek; Rfou Rami; Perozzi Bryan; Skiena Steven (2015). „Statisticky významná detekce jazykových změn“. WWW '15 Proceedings of the 24th International Conference on World Wide Web: 625–635. arXiv:1411.3315. doi:10.1145/2736277.2741627. ISBN 9781450334693. S2CID 9298083.

Další čtení

Michèle Basseville; Igor V. Nikiforov (duben 1993). Detekce náhlých změn: teorie a aplikace. Prentice-Hall, Englewoodské útesy, N.J. ISBN 0-13-126780-9.
H. Vincent Poor; Olympia Hadjiliadis (2009). Nejrychlejší detekce. Cambridge University Press. ISBN 978-0-521-62104-5.

[1] van den Burg, Gerrit J. J .; Williams, Christopher K.I. (26. května 2020). "Vyhodnocení algoritmů detekce bodu změny". arXiv:2003.06222 [stat.ML ].

[2] Page, E. S. (červen 1957). Msgstr "O problémech, při kterých dojde ke změně parametru v neznámém bodě". Biometrika. 44 (1/2): 248–252. doi:10.1093 / biomet / 44.1-2.248. JSTOR 2333258.

[3] Picard, Dominique (1985). "Testování a odhad změnových bodů v časové řadě". Pokroky v aplikované pravděpodobnosti. 17 (4): 841–867. doi:10.2307/1427090. JSTOR 1427090.

[4] Yao, Yi-Ching (01.02.1988). Msgstr "Odhad počtu bodů změny pomocí Schwarzova kritéria". Statistiky a pravděpodobnostní dopisy. 6 (3): 181–189. doi:10.1016/0167-7152(88)90118-6. ISSN 0167-7152.

[5] Kulkarni Vivek; Rfou Rami; Perozzi Bryan; Skiena Steven (2015). „Statisticky významná detekce jazykových změn“. WWW '15 Proceedings of the 24th International Conference on World Wide Web: 625–635. arXiv:1411.3315. doi:10.1145/2736277.2741627. ISBN 9781450334693. S2CID 9298083.

[1]

[2]

[3]

[4]

[5]