Rozpoznávání aktivity - Activity recognition

tento článek je psán jako výzkumná práce nebo vědecký časopis které mohou použít příliš technické termíny nebo nemusí být napsán jako encyklopedický článek. Prosím pomozte to vylepšit přepsáním do encyklopedický styl. (Březen 2018) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Rozpoznávání aktivity si klade za cíl rozpoznat akce a cíle jednoho nebo více agentů ze série pozorování akcí agentů a podmínek prostředí. Od 80. let minulého století upoutalo toto výzkumné pole pozornost několika počítačová věda komunity díky své síle v poskytování personalizované podpory pro mnoho různých aplikací a jeho propojení s mnoha různými studijními obory, jako je medicína, interakce člověk-počítač nebo sociologie.

Vzhledem ke své mnohostranné povaze mohou různá pole odkazovat na rozpoznávání aktivit jako uznání plánu, uznání cíle, uznání záměru, rozpoznání chování, odhad polohy a služby založené na poloze.

Typy

Rozpoznání aktivity jednoho uživatele na základě senzoru

Senzor -rozpoznávání aktivity na základě integruje vznikající oblast senzorových sítí s novými dolování dat a strojové učení techniky k modelování široké škály lidských činností.^[1][2] Mobilní zařízení (např. Chytré telefony) poskytují dostatečné údaje ze senzorů a výpočetní výkon, aby umožnily rozpoznávání fyzické aktivity a poskytovaly odhad spotřeby energie během každodenního života. Vědci pro rozpoznávání aktivity založené na senzorech tomu věří zmocněním všudypřítomné počítače a senzory pro sledování chování agentů (na základě souhlasu), budou tyto počítače vhodnější pro jednání naším jménem.

Úrovně rozpoznávání aktivity na základě senzoru

Rozpoznávání aktivity na základě senzoru je náročný úkol vzhledem k inherentní hlučné povaze vstupu. Tím pádem, statistické modelování byl hlavním tahem v tomto směru ve vrstvách, kde je rozpoznávání na několika mezilehlých úrovních prováděno a spojováno. Na nejnižší úrovni, kde jsou shromažďována data ze senzorů, se statistické učení týká toho, jak najít podrobné umístění agentů z přijatých dat signálu. Na střední úrovni statistická inference může být znepokojen tím, jak rozpoznat aktivity jednotlivců z odvozených sekvencí umístění a podmínek prostředí na nižších úrovních. Kromě toho je na nejvyšší úrovni hlavním úkolem zjistit celkový cíl nebo dílčí cíle agenta ze sledu činností pomocí kombinace logického a statistického uvažování.

Rozpoznávání aktivity více uživatelů na základě senzorů

Rozpoznávání aktivit pro více uživatelů pomocí senzorů na těle se poprvé objevilo v práci ORL pomocí systémů aktivních odznaků^[3] na počátku 90. let. K identifikaci vzorů skupinové aktivity během kancelářských scénářů byla použita další technologie senzorů, jako jsou senzory zrychlení.^[4] Činnosti více uživatelů v inteligentních prostředích jsou popsány v Gu et al.^[5] V této práci zkoumají základní problém rozpoznávání aktivit pro více uživatelů z odečtů senzorů v domácím prostředí a navrhují nový přístup k dolování vzorů pro rozpoznávání aktivit pro jednoho i více uživatelů v jednotném řešení.

Rozpoznávání skupinové aktivity na základě senzorů

Rozpoznávání skupinových aktivit se zásadně liší od rozpoznávání aktivit pro jednoho nebo více uživatelů v tom, že cílem je rozpoznat chování skupiny jako entity, nikoli aktivity jednotlivých členů v ní.^[6] Skupinové chování se objevuje v přírodě, což znamená, že vlastnosti chování skupiny se zásadně liší od vlastností chování jednotlivců v rámci skupiny nebo od jakéhokoli součtu tohoto chování.^[7] Hlavní výzvy spočívají v modelování chování jednotlivých členů skupiny a rolí jednotlivce v rámci skupinové dynamiky^[8] a jejich vztah k naléhavému chování skupiny paralelně.^[9] Mezi výzvy, které je třeba stále řešit, patří kvantifikace chování a rolí jednotlivců, kteří se ke skupině připojují, integrace explicitních modelů pro popis rolí do odvozovacích algoritmů a hodnocení škálovatelnosti pro velmi velké skupiny a davy. Rozpoznávání skupinové aktivity má aplikace pro řízení davu a reakci v nouzových situacích i pro sociální síť a Kvantifikované já aplikace.^[10]

Přístupy

Rozpoznávání aktivity pomocí logiky a uvažování

Logické přístupy sledují vše logicky konzistentní vysvětlení pozorovaných akcí. Musí být tedy zváženy všechny možné a konzistentní plány nebo cíle. Kautz poskytl formální teorii uznání plánu. Popsal rozpoznávání plánů jako logický inferenční proces omezení. Všechny akce a plány jsou jednotně označovány jako cíle a znalosti rozpoznávače jsou reprezentovány sadou příkazů prvního řádu, nazývaných hierarchie událostí. Hierarchie událostí je zakódována v logice prvního řádu, která definuje abstrakci, rozklad a funkční vztahy mezi typy událostí.^[11]

Kautzův obecný rámec pro rozpoznávání plánů má v nejhorším případě exponenciální časovou složitost, měřenou ve velikosti vstupní hierarchie. Lesh a Etzioni šli o krok dále a představili metody, jak rozšířit rozpoznávání cílů, aby svou práci rozšířili výpočetně. Na rozdíl od Kautzova přístupu, kde je knihovna plánů výslovně zastoupena, umožňuje přístup Lesha a Etzioniho automatickou konstrukci knihovny plánů z doménových primitiv. Dále zavedli kompaktní reprezentace a efektivní algoritmy pro rozpoznávání cílů ve velkých plánech knihoven.^[12]

Když přijdou nové akce, nekonzistentní plány a cíle se opakovaně prořezávají. Kromě toho také představili metody pro přizpůsobení rozpoznávače cílů tak, aby zvládly idiosynkratické chování jednotlivce vzhledem k ukázce nedávného chování jednotlivce. Pollack a kol. popsal přímý argumentační model, který může vědět o relativní síle několika druhů argumentů pro popis víry a záměru.

Vážným problémem logických přístupů je jejich neschopnost nebo inherentní neproveditelnost představovat nejistotu. Nenabízejí žádný mechanismus, který by upřednostňoval jeden důsledný přístup k druhému a nebyl by schopen rozhodnout, zda je jeden konkrétní plán pravděpodobnější než jiný, pokud oba mohou být dostatečně konzistentní k vysvětlení pozorovaných akcí. S metodami založenými na logice také chybí schopnost učit se.

Dalším přístupem k rozpoznávání aktivit založených na logice je použití uvažování proudu založeného na programování sady odpovědí,^[13] a byla použita k rozpoznávání aktivit pro aplikace související se zdravím,^[14] který používá slabá omezení k modelování míry nejednoznačnosti / nejistoty.

Rozpoznávání činnosti pomocí pravděpodobnostního uvažování

Teorie pravděpodobnosti a modely statistického učení se v poslední době používají při rozpoznávání aktivity k uvažování o akcích, plánech a cílech za nejistoty.^[15] V literatuře existuje několik přístupů, které výslovně představují nejistotu v uvažování o plánech a cílech agenta.

Hodges a Pollack pomocí vstupních dat ze senzorů navrhli systémy založené na strojovém učení pro identifikaci jednotlivců při provádění rutinních každodenních činností, jako je příprava kávy.^[16] Laboratoř Intel Research (Seattle) a University of Washington v Seattlu provedly některé důležité práce na používání senzorů k detekci lidských plánů.^[17][18][19] Některá z těchto prací odvozují režimy přepravy uživatelů ze čtení vysokofrekvenčních identifikátorů (RFID) a globálních pozičních systémů (GPS).

Ukázalo se, že použití časových pravděpodobnostních modelů funguje dobře při rozpoznávání aktivity a obecně překonává jiné než časové modely.^[20] Generativní modely, jako je Hidden Markov Model (HMM) a obecněji formulované Dynamic Bayesian Networks (DBN), jsou populární volbou při modelování aktivit ze senzorových dat.^{[21][22][23][24]}Diskriminační modely, jako jsou podmíněná náhodná pole (CRF), se také běžně používají a také poskytují dobrý výkon při rozpoznávání aktivity.^[25][26]

Generativní i diskriminační modely mají své klady i zápory a ideální volba závisí na oblasti jejich použití. Lze nalézt datovou sadu spolu s implementacemi řady populárních modelů (HMM, CRF) pro rozpoznávání aktivit tady.

Konvenční časové pravděpodobnostní modely, jako je skrytý Markovův model (HMM) a model podmíněných náhodných polí (CRF), přímo modelují korelace mezi aktivitami a pozorovanými údaji ze senzorů. V posledních letech stále více důkazů podporuje použití hierarchických modelů, které zohledňují bohatou hierarchickou strukturu, která existuje v datech o chování člověka.^[22][27][28] Hlavní myšlenkou je, že model přímo nekoreluje aktivity s daty senzoru, ale místo toho rozděluje aktivitu na dílčí aktivity (někdy označované jako akce) a podle toho modeluje základní korelace. Příkladem může být aktivita přípravy praženice, kterou lze rozdělit na dílčí aktivity nebo činnosti krájení zeleniny, smažení zeleniny na pánvi a podávání na talíř. Příklady takového hierarchického modelu jsou Layered Hidden Markov Models (LHMMs)^[27] a hierarchický skrytý Markovův model (HHMM), u kterého bylo prokázáno, že významně překonává svůj nehierarchický protějšek v rozpoznávání činnosti.^[22]

Přístup k rozpoznávání činností založený na dolování dat

Na rozdíl od tradičních přístupů strojového učení byl nedávno navržen přístup založený na dolování dat. V práci Gu et al. Je problém rozpoznávání aktivity formulován jako problém klasifikace založený na vzorcích. Navrhli přístup k dolování dat založený na diskriminačních vzorcích, které popisují významné změny mezi libovolnými dvěma třídami aktivity dat, aby rozpoznaly sekvenční, prokládané a souběžné aktivity v jednotném řešení.^[29] Gilbert et al. použijte 2D rohy v prostoru i čase. Ty jsou seskupeny prostorově a časově pomocí hierarchického procesu s rostoucí oblastí vyhledávání. V každé fázi hierarchie se nejvýraznější a popisné funkce efektivně učí pomocí dolování dat (pravidlo Apriori).^[30]

Rozpoznávání aktivity založené na GPS

Může se také spolehnout na rozpoznávání aktivity na základě polohy GPS údaje k rozpoznávání činností.^[31][32]

Využití senzoru

Rozpoznávání činnosti na základě vidění

Je velmi důležitým a náročným problémem sledovat a porozumět chování agentů prostřednictvím videí pořízených různými kamerami. Primární používanou technikou je počítačové vidění. Rozpoznávání aktivity založené na vidění našlo mnoho aplikací, jako je interakce člověka s počítačem, design uživatelského rozhraní, robotické učení, a mimo jiné dohled. Vědecké konference, kde se často objevují práce na rozpoznávání aktivity založené na vidění, jsou ICCV a CVPR.

V rozpoznávání činnosti na základě vize bylo odvedeno velké množství práce. Vědci se pokusili o řadu metod, jako např optický tok, Kalmanovo filtrování, Skryté Markovovy modely atd. za různých způsobů, jako je jedna kamera, stereo a infračervené. Vědci navíc na toto téma zvážili několik aspektů, včetně sledování jednoho chodce, skupinového sledování a detekce spadlých objektů.

Nedávno někteří vědci použili RGBD kamery jako Microsoft Kinect k detekci lidských aktivit. Hloubkové kamery přidávají další rozměr, tj. Hloubku, kterou běžná 2D kamera neposkytuje. Senzorické informace z těchto hloubkových kamer byly použity ke generování kosterního modelu lidí s různými pozicemi těla v reálném čase. Tato informace o kostře poskytuje smysluplné informace, které vědci použili k modelování lidských aktivit, které jsou trénovány a později použity k rozpoznání neznámých aktivit.^[33][34]

S nedávnou naléhavou nutností hlubokého učení došlo k rychlému rozvoji rozpoznávání RGB aktivit založených na videu. Jako vstup využívá videa zachycená kamerami RGB a provádí několik úkolů, včetně: klasifikace videa, detekce začátku a konce aktivity ve videích a časoprostorové lokalizace aktivity a osob provádějících aktivitu.

Navzdory pozoruhodnému pokroku v rozpoznávání činnosti na základě vidění zůstává jeho použití pro většinu skutečných aplikací vizuálního dohledu vzdálenou aspirací.^[35] Naopak se zdá, že lidský mozek zdokonalil schopnost rozpoznávat lidské činy. Tato schopnost se opírá nejen o získané znalosti, ale také o schopnost získávat informace relevantní pro daný kontext a logické uvažování. Na základě tohoto pozorování bylo navrženo vylepšit systémy rozpoznávání aktivit na základě vidění integrací rozumné uvažování a kontextuální a znalost rozumu. Experimenty prováděné pomocí videokamer a RGBD kamer ukazují přidanou hodnotu takového přístupu.^[36][37]

Úrovně rozpoznávání činnosti založené na zraku

V rozpoznávání činnosti na základě vidění je výpočetní proces často rozdělen do čtyř kroků, a to detekce člověka, sledování člověka, rozpoznávání lidské aktivity a poté vyhodnocení aktivity na vysoké úrovni.

Jemně lokalizovaná akce

v počítačové vidění -rozpoznávání aktivity na základě, jemnozrnná lokalizace akce obvykle poskytuje segmentační masky na snímek vymezující lidský objekt a jeho kategorii akcí (např. Segment-Tube^[38]). Techniky jako dynamické Markov Networks, CNN a LSTM jsou často využívány k využití sémantické korelace mezi po sobě jdoucími video snímky.

Automatické rozpoznávání chůze

Jedním ze způsobů, jak určit konkrétní lidi, je podle toho, jak chodí. Software pro rozpoznávání chůze lze použít k záznamu profilu chůze nebo profilu osoby v databázi za účelem pozdějšího rozpoznání této osoby, i když má převlek.

Rozpoznávání aktivity založené na Wi-Fi

Když se rozpoznávání aktivity provádí uvnitř a ve městech pomocí široce dostupného Wi-Fi signály a 802.11 přístupových bodů, je zde velký hluk a nejistota. Tyto nejistoty lze modelovat pomocí dynamiky Bayesovská síť Modelka.^[39] V modelu s více cíli, který může uvažovat o cílech prokládání uživatelů, a deterministický je použit model přechodu stavu.^[40] Další možná metoda modeluje souběžné a prokládací aktivity v pravděpodobnostním přístupu.^[41] Model zjišťování akcí uživatelů by mohl segmentovat signály Wi-Fi a vytvářet tak možné akce.^[42]

Základní modely rozpoznávání Wi-Fi

Jednou z hlavních myšlenek rozpoznávání aktivity Wi-Fi je, že když signál prochází během přenosu lidským tělem; což způsobuje odraz, difrakci a rozptyl. Vědci mohou z těchto signálů získat informace k analýze činnosti lidského těla.

Statický model přenosu

Jak je uvedeno v^[43] když jsou bezdrátové signály přenášeny uvnitř, překážky, jako jsou stěny, země a lidské tělo, způsobují různé efekty, jako je odraz, rozptyl, difrakce a difrakce. Přijímací konec proto přijímá více signálů z různých cest současně, protože povrchy odrážejí signál během přenosu, který je známý jako vícecestný efekt.

Statický model je založen na těchto dvou druzích signálů: přímém signálu a odraženém signálu. Protože v přímé cestě není žádná překážka, lze přímý přenos signálu modelovat pomocí Friisova přenosová rovnice:

${ displaystyle P_ {r} = { frac {P_ {t} G_ {t} G_ {r} lambda ^ {2}} {(4 pi) ^ {2} d ^ {2}}}}$

${ displaystyle P_ {t}}$ je výkon dodávaný do vstupních terminálů vysílací antény;

${ displaystyle P_ {r}}$ je výkon dostupný na výstupních terminálech přijímací antény;

${ displaystyle d}$ je vzdálenost mezi anténami;

${ displaystyle G_ {t}}$ vysílá zisk antény;

${ displaystyle G_ {r}}$ přijímá zisk antény;

${ displaystyle lambda}$ je vlnová délka rádiové frekvence

Pokud vezmeme v úvahu odražený signál, nová rovnice je:

${ displaystyle P_ {r} = { frac {P_ {t} G_ {t} G_ {r} lambda ^ {2}} {(4 pi) ^ {2} (d + 4h) ^ {2} }}}$

${ displaystyle h}$ je vzdálenost mezi odrazovými body a přímou cestou.

Když se objeví člověk, máme novou přenosovou cestu. Konečná rovnice je tedy:

${ displaystyle P_ {r} = { frac {P_ {t} G_ {t} G_ {r} lambda ^ {2}} {(4 pi) ^ {2} (d + 4h + Delta) ^ { 2}}}}$

${ displaystyle Delta}$ je přibližný rozdíl dráhy způsobené lidským tělem.

Model dynamické převodovky

V tomto modelu uvažujeme lidský pohyb, který způsobuje, že se cesta přenosu signálu neustále mění. K popisu tohoto jevu, který souvisí s rychlostí pohybu, můžeme použít Dopplerův posun.

${ displaystyle Delta f = { frac {2v cos theta} {c}} f}$

Výpočtem Dopplerova posunu přijímacího signálu můžeme zjistit vzor pohybu, čímž dále identifikujeme lidskou činnost. Například v^[44] Dopplerův posun se používá jako otisk prstu k dosažení vysoce přesné identifikace devíti různých pohybových vzorů.

Fresnelova zóna

Fresnelova zóna byla původně používána ke studiu interference a difrakce světla, která se později používá ke konstrukci modelu přenosu bezdrátového signálu. Fresnelova zóna je řada eliptických intervalů, jejichž ohniskem jsou polohy vysílače a přijímače.

Když se člověk pohybuje napříč různými Fresnelovými zónami, mění se signální cesta vytvořená odrazem lidského těla a pokud se lidé pohybují vertikálně Fresnelovými zónami, bude změna signálu periodická. V novinách^[45] a,^[46] aplikovali model Fresnel na úkol rozpoznávání aktivity a získali přesnější výsledek.

Modelování lidského těla

V některých úkolech bychom měli zvážit přesné modelování lidského těla, abychom dosáhli lepších výsledků. Například,^[46] popsal lidské tělo jako soustředné válce pro detekci dechu. Vnějšek válce označuje hrudní koš, když lidé vdechují, a vnitřek označuje, že když lidé vydechují. Takže rozdíl mezi poloměrem těchto dvou válců představuje pohybovou vzdálenost během dýchání. Změna fází signálu může být vyjádřena v následující rovnici:

${ displaystyle theta = 2 pi { frac {2 , Delta d} { lambda}}}$

${ displaystyle theta}$ je změna fází signálu;

${ displaystyle lambda}$ je vlnová délka rádiové frekvence;

${ displaystyle Delta d}$ se pohybuje vzdálenost hrudního koše;

Aplikace

Automatickým sledováním lidských činností lze poskytnout domácí rehabilitaci lidem trpícím traumatickým poškozením mozku. Lze najít aplikace od bezpečnostních aplikací a logistické podpory až po služby založené na poloze.^[47] Systémy rozpoznávání aktivity byly vyvinuty pro pozorování divoké zvěře^[48] a úspora energie v budovách.^[49]

Viz také

• Efekt AI
• Aplikace umělé inteligence
• Podmíněné náhodné pole
• Rozpoznávání gest
• Skrytý Markovův model
• Analýza pohybu
• Naivní Bayesův klasifikátor
• Podporujte vektorové stroje
• Segmentace objektů
• Nástin umělé inteligence
• Analýza obsahu videa

Reference