Sloučení senzoru - Sensor fusion

Sloučení senzoru kombinuje smyslové data nebo data odvozená z různorodých zdrojů tak, že výsledná informace má menší nejistotu, než by bylo možné, kdyby byly tyto zdroje použity jednotlivě. Termín snížení nejistoty v tomto případě může znamenat přesnější, úplnější nebo spolehlivější, nebo odkazovat na výsledek vznikajícího pohledu, jako např. stereoskopický vidění (výpočet hloubkové informace kombinací dvourozměrných obrazů ze dvou kamer v mírně odlišných úhlech pohledu).[1][2]
Zdroje dat pro proces fúze nejsou specifikovány tak, aby pocházely ze stejných senzorů. Dá se rozlišit přímá fúze, nepřímá fúze a fúze výstupů prvních dvou. Přímá fúze je fúze dat senzoru ze sady heterogenní nebo homogenní senzory, měkké senzory, a historické hodnoty dat senzorů, zatímco nepřímá fúze využívá informační zdroje jako a priori znalosti o životním prostředí a vstup člověka.
Sloučení senzorů je také známé jako (více senzorů) fúze dat a je podmnožinou fúze informací.
Příklady senzorů
- Akcelerometry
- Elektronická podpůrná opatření (ESM)
- Flash LIDAR
- Globální Polohovací Systém (GPS)
- Infračervená / termální zobrazovací kamera
- Magnetické senzory
- MEMS
- Fázované pole
- Radar
- Radioteleskopy, například navrhované Pole čtvercového kilometru, největší senzor, jaký byl kdy postaven
- Skenování LIDAR
- Seismické senzory
- Sonar a další akustické
- Sonobuoys
- Televizní kamery
- → Další Seznam senzorů
Algoritmy
Sloučení senzorů je pojem, který zahrnuje řadu metod a algoritmů, včetně:
Ukázkové výpočty
Níže jsou uvedeny dva příklady výpočtů fúze senzorů.
Nechat a označují dvě měření snímače hlukem odchylky a , resp. Jeden způsob získání kombinovaného měření je použít Teorém centrálního limitu, který se také používá ve Fraser-Potterově hladším intervalu s pevným intervalem, jmenovitě[4]
- ,
kde je rozptyl kombinovaného odhadu. Je vidět, že výsledkem fúze je jednoduše lineární kombinace dvou měření vážená jejich příslušnými odchylkami šumu.
Další metodou k fúzi dvou měření je použití optimálního Kalmanův filtr. Předpokládejme, že data jsou generována systémem prvního řádu a nechána označit řešení filtru Riccatiho rovnice. Aplikováním Cramerovo pravidlo v rámci výpočtu zisku lze zjistit, že zisk filtru je dán vztahem:[Citace je zapotřebí ]
Kontrolou, když je první měření bez šumu, filtr ignoruje druhé měření a naopak. To znamená, že kombinovaný odhad je vážen kvalitou měření.
Centralizovaná versus decentralizovaná
Při fúzi senzorů se centralizovaná versus decentralizovaná označuje místo, kde dochází k fúzi dat. V centralizované fúzi klienti jednoduše předávají všechna data do centrálního umístění a některá entita v centrálním umístění je zodpovědná za korelaci a fúzi dat. V decentralizovaném prostředí přebírají klienti plnou odpovědnost za fúzi dat. „V tomto případě lze na každý senzor nebo platformu pohlížet jako na inteligentní aktivum s určitou mírou autonomie v rozhodování.“[5]
Existuje několik kombinací centralizovaných a decentralizovaných systémů.
Další klasifikace konfigurace senzorů se týká koordinace toku informací mezi senzory.[6][7] Tyto mechanismy poskytují způsob řešení konfliktů nebo neshod a umožňují rozvoj strategií dynamického snímání. Senzory jsou v redundantní (nebo konkurenční) konfiguraci, pokud každý uzel poskytuje nezávislé míry stejných vlastností. Tuto konfiguraci lze použít při opravě chyb při porovnávání informací z více uzlů. Při hlasovacích postupech se často používají nadbytečné strategie s fúzí na vysoké úrovni.[8][9]Doplňková konfigurace nastává, když více zdrojů informací poskytuje různé informace o stejných funkcích. Tato strategie se používá pro fúzi informací na úrovni nezpracovaných dat v rámci rozhodovacích algoritmů. Doplňkové funkce se obvykle používají v úlohách rozpoznávání pohybu s Nervová síť,[10][11] Skrytý Markovův model,[12][13] Podpůrný vektorový stroj,[14] shlukovací metody a další techniky.[14][13] Kooperativní fúze senzorů využívá informace extrahované několika nezávislými senzory k poskytnutí informací, které by nebyly dostupné z jednotlivých senzorů. Například senzory připojené k segmentům těla se používají k detekci úhlu mezi nimi. Kooperativní senzorová strategie dává informace, které nelze získat z jednotlivých uzlů. Kooperativní fúzi informací lze použít při rozpoznávání pohybu,[15] analýza chůze, analýza pohybu,[16][17],.[18]
Úrovně
Obvykle se používá několik kategorií nebo úrovní fúze senzorů. * [19][20][21][22][23][24]
- Úroveň 0 - Zarovnání dat
- Úroveň 1 - Hodnocení entity (např. Signál / vlastnost / objekt).
- Sledování a detekce / rozpoznání / identifikace objektu
- Úroveň 2 - Posouzení situace
- Úroveň 3 - Posouzení dopadů
- Úroveň 4 - Zdokonalení procesu (tj. Správa senzoru)
- Úroveň 5 - Upřesnění uživatele
Úroveň fúze senzoru lze také definovat na základě druhu informací použitých k napájení algoritmu fúze.[25] Přesněji lze fúzi senzorů provést fúzí surových dat pocházejících z různých zdrojů, extrapolovaných funkcí nebo dokonce rozhodnutí jednotlivých uzlů.
- Úroveň dat - fúze na úrovni dat (nebo rané) si klade za cíl spojit nezpracovaná data z více zdrojů a představovat techniku fúze na nejnižší úrovni abstrakce. Jedná se o nejběžnější techniku fúze senzorů v mnoha oblastech použití. Algoritmy fúze datové úrovně mají obvykle za cíl kombinovat více homogenních zdrojů senzorických dat a dosáhnout tak přesnějších a syntetičtějších údajů.[26] Když se používají přenosná zařízení, představuje komprese dat důležitý faktor, protože shromažďování nezpracovaných informací z více zdrojů generuje obrovské informační prostory, které by mohly definovat problém z hlediska paměti nebo šířky pásma přenosných systémů. Fúze informací na úrovni dat má tendenci generovat velké vstupní prostory, které zpomalují postup rozhodování. Fúze na úrovni dat také často nedokáže zpracovat neúplná měření. Pokud se některý způsob senzoru stane nepoužitelným z důvodu nesprávné funkce, poruchy nebo z jiných důvodů, může dojít k nejednoznačným výsledkům celého systému.
- Úroveň funkcí - funkce představují informace vypočítané na palubě každým snímacím uzlem. Tyto funkce jsou poté odeslány do fúzního uzlu za účelem napájení fúzního algoritmu.[27] Tato procedura generuje menší informační prostory s ohledem na fúzi na úrovni dat, což je lepší z hlediska výpočetní zátěže. Je zřejmé, že je důležité správně vybrat prvky, na nichž se definují klasifikační postupy: výběr nejúčinnější sady funkcí by měl být hlavním aspektem při navrhování metody. Použití algoritmů pro výběr funkcí, které správně detekují korelované funkce a podmnožiny funkcí, zlepšuje přesnost rozpoznávání, ale k nalezení nejvýznamnější podmnožiny funkcí jsou obvykle zapotřebí velké tréninkové sady.[25]
- Rozhodovací úroveň - rozhodovací úroveň (nebo pozdní) fúze je postup výběru hypotézy ze sady hypotéz generovaných individuálními (obvykle slabšími) rozhodnutími více uzlů.[28] Jedná se o nejvyšší úroveň abstrakce a využívá informace, které již byly zpracovány prostřednictvím předběžného zpracování na úrovni dat nebo funkcí. Hlavním cílem při fúzi rozhodnutí je použití klasifikátoru metaúrovní, zatímco data z uzlů jsou předzpracována extrahováním funkcí z nich.[29] Typicky se fúze senzorů na úrovni rozhodnutí používá při klasifikaci a rozpoznávání a dva nejběžnější přístupy jsou většinové hlasování a Naive-Bayes.[Citace je zapotřebí ] Výhody fúze na úrovni rozhodnutí zahrnují šířku pásma komunikace a lepší přesnost rozhodování. Umožňuje také kombinaci heterogenních senzorů.[27]
Aplikace
Jednou z aplikací fúze senzorů je GPS / INS, kde Globální Polohovací Systém a inerciální navigační systém data se fúzují pomocí různých metod, např. the rozšířený Kalmanův filtr. To je užitečné například při určování výšky letadla pomocí levných snímačů.[30] Dalším příkladem je použití fúze dat přístup k určení stavu dopravy (slabý provoz, dopravní zácpa, střední tok) pomocí silničních shromážděných akustických, obrazových a senzorových dat.[31] V oblasti autonomního řízení se fúze senzorů používá ke kombinování nadbytečných informací z doplňkových senzorů za účelem získání přesnější a spolehlivější reprezentace prostředí.[32]
Ačkoli technicky nejde o speciální metodu fúze senzorů, moderní Konvoluční neuronová síť založené metody mohou současně zpracovávat velmi mnoho kanálů dat ze senzorů (např Hyperspektrální zobrazování se stovkami kapel [33]) a spojit příslušné informace za účelem získání výsledků klasifikace.
Viz také
- Algoritmus Brooks - Iyengar
- Data (výpočetní)
- Dolování dat
- Fisherova metoda pro kombinaci nezávislých testů významnosti
- Fúze obrazu
- Multimodální integrace
- Mřížka senzoru
- Značkovací jazyk snímače (TML) je značkovací jazyk založený na XML, který umožňuje fúzi senzorů.
Reference
- ^ Elmenreich, W. (2002). Fusion Sensor in Time-Triggered Systems, PhD Thesis (PDF). Vídeň, Rakousko: Vídeňská technická univerzita. p. 173.
- ^ Haghighat, Mohammad Bagher Akbari; Aghagolzadeh, Ali; Seyedarabi, Hadi (2011). "Vícefokusová fúze obrazu pro sítě vizuálních senzorů v doméně DCT". Počítače a elektrotechnika. 37 (5): 789–797. doi:10.1016 / j.compeleceng.2011.04.016.
- ^ Li, Wangyan; Wang, Zidong; Wei, Guoliang; Ma, Lifeng; Hu, červen; Ding, Derui (2015). „Průzkum fúze multisenzorů a filtrování konsensu pro senzorové sítě“. Diskrétní dynamika v přírodě a společnosti. 2015: 1–12. doi:10.1155/2015/683701. ISSN 1026-0226.
- ^ Možná, S. (1982). Stochastické modely, odhad a ovládání. River Edge, NJ: Academic Press.
- ^ N. Xiong; P. Svensson (2002). „Správa více senzorů pro fúzi informací: problémy a přístupy“. Informační fúze. p. 3 (2): 163–186.
- ^ Durrant-Whyte, Hugh F. (2016). "Modely senzorů a integrace více senzorů". International Journal of Robotics Research. 7 (6): 97–113. doi:10.1177/027836498800700608. ISSN 0278-3649.
- ^ Galar, Diego; Kumar, Uday (2017). eMaintenance: Základní elektronické nástroje pro zvýšení efektivity. Akademický tisk. p. 26. ISBN 9780128111543.
- ^ Li, Wenfeng; Bao, Junrong; Fu, Xiuwen; Fortino, Giancarlo; Galzarano, Stefano (2012). „Rozpoznávání lidských pozic na základě teorie důkazů D-S a fúze dat pomocí více senzorů“. 12. 12. mezinárodní sympozium IEEE / ACM o klastrových, cloudových a gridových výpočtech (ccgrid 2012). 912–917. doi:10.1109 / CCGrid.2012.144. ISBN 978-1-4673-1395-7.
- ^ Fortino, Giancarlo; Gravina, Raffaele (2015). „Fall-MobileGuard: inteligentní systém detekce pádu v reálném čase“. Sborník příspěvků z 10. mezinárodní konference EAI o sítích oblasti těla. doi:10.4108 / eai.28-9-2015.2261462. ISBN 978-1-63190-084-6.
- ^ Tao, Shuai; Zhang, Xiaowei; Cai, Huaying; Lv, Zeping; Hu, Caiyou; Xie, Haiqun (2018). "Biometrické osobní ověřování založené na chůzi pomocí inerciálních senzorů MEMS". Journal of Ambient Intelligence and Humanized Computing. 9 (5): 1705–1712. doi:10.1007 / s12652-018-0880-6. ISSN 1868-5137.
- ^ Dehzangi, Omid; Taherisadr, Mojtaba; ChangalVala, Raghvendar (2017). „Rozpoznávání chůze na základě IMU pomocí konvolučních neuronových sítí a fúze více senzorů“. Senzory. 17 (12): 2735. doi:10,3390 / s17122735. ISSN 1424-8220. PMC 5750784. PMID 29186887.
- ^ Guenterberg, E .; Yang, A.Y .; Ghasemzadeh, H .; Jafari, R .; Bajcsy, R .; Sastry, S. S. (2009). „Metoda extrakce časových parametrů založená na skrytých Markovových modelech v sítích senzorů těla s inerciálními senzory“ (PDF). Transakce IEEE o informačních technologiích v biomedicíně. 13 (6): 1019–1030. doi:10.1109 / TITB.2009.2028421. ISSN 1089-7771. PMID 19726268.
- ^ A b Parisi, Federico; Ferrari, Gianluigi; Giuberti, Matteo; Contin, Laura; Cimolin, Veronica; Azzaro, Corrado; Albani, Giovanni; Mauro, Alessandro (2016). "Inerciální charakterizace na základě BSN a automatické vyhodnocení UPDRS úlohy chůze Parkinsonů". Transakce IEEE na efektivní výpočetní technice. 7 (3): 258–271. doi:10.1109 / TAFFC.2016.2549533. ISSN 1949-3045.
- ^ A b Gao, Lei; Bourke, A. K.; Nelson, John (2014). "Hodnocení akcelerometru založeného na vícečidlovém systému oproti systémům pro rozpoznávání aktivity s jedním čidlem". Lékařské inženýrství a fyzika. 36 (6): 779–785. doi:10.1016 / j.medengphy.2014.02.012. ISSN 1350-4533. PMID 24636448.
- ^ Xu, James Y .; Wang, Yan; Barrett, Mick; Dobkin, Bruce; Pottie, Greg J .; Kaiser, William J. (2016). „Personalizované vícevrstvé profilování každodenního života prostřednictvím kontextové klasifikace aktivity a rekonstrukce pohybu: integrovaný systémový přístup“. IEEE Journal of Biomedical and Health Informatics. 20 (1): 177–188. doi:10.1109 / JBHI.2014.2385694. ISSN 2168-2194. PMID 25546868.
- ^ Chia Bejarano, Noelia; Ambrosini, Emilia; Pedrocchi, Alessandra; Ferrigno, Giancarlo; Monticone, Marco; Ferrante, Simona (2015). „Nový adaptivní algoritmus v reálném čase pro detekci událostí v chůzi z nositelných senzorů“. Transakce IEEE na neuronových systémech a rehabilitační inženýrství. 23 (3): 413–422. doi:10.1109 / TNSRE.2014.2337914. ISSN 1534-4320. PMID 25069118.
- ^ Wang, Zhelong; Qiu, Sen; Cao, Zhongkai; Jiang, Ming (2013). "Kvantitativní hodnocení analýzy dvojí chůze založené na inerciálních senzorech se sítí senzorů těla". Kontrola senzoru. 33 (1): 48–56. doi:10.1108/02602281311294342. ISSN 0260-2288.
- ^ Kong, Weisheng; Wanning, Lauren; Sessa, Salvatore; Zecca, Massimiliano; Magistro, Daniele; Takeuchi, Hikaru; Kawashima, Ryuta; Takanishi, Atsuo (2017). „Detekce krokové sekvence a směru čtyřstupňového testu“ (PDF). IEEE Robotics and Automation Letters. 2 (4): 2194–2200. doi:10.1109 / LRA.2017.2723929. ISSN 2377-3766.
- ^ Přehodnocení úrovní JDL Data Fusion
- ^ Blasch, E., Plano, S. (2003) „Úroveň 5: Zdokonalení uživatelů na podporu procesu fúze“, Sborník SPIE, sv. 5099.
- ^ J. Llinas; C. Bowman; G. Rogova; A. Steinberg; E. Waltz; F. White (2004). Přehodnocení modelu fúze dat JDL II. Mezinárodní konference o fúzi informací. CiteSeerX 10.1.1.58.2996.
- ^ Blasch, E. (2006) "Správa prostředků senzoru, uživatele, mise (SUM) a jejich interakce s fúzí úrovně 2/3[trvalý mrtvý odkaz ]„Mezinárodní konference o fúzi informací.
- ^ http://defensesystems.com/articles/2009/09/02/c4isr1-sensor-fusion.aspx
- ^ Blasch, E., Steinberg, A., Das, S., Llinas, J., Chong, C.-Y., Kessler, O., Waltz, E., White, F. (2013) „Revisiting the JDL model pro informaci Exploitation, „Mezinárodní konference o fúzi informací.
- ^ A b Gravina, Raffaele; Alinia, Parastoo; Ghasemzadeh, Hassan; Fortino, Giancarlo (2017). „Sloučení více senzorů v sítích senzorů těla: nejmodernější a výzkumné výzvy“. Informační fúze. 35: 68–80. doi:10.1016 / j.inffus.2016.09.005. ISSN 1566-2535.
- ^ Gao, Teng; Song, Jin-Yan; Zou, Ji-Yan; Ding, Jin-Hua; Wang, De-Quan; Jin, Ren-Cheng (2015). "Přehled výkonových kompromisních mechanismů ve směrovacím protokolu pro zelené bezdrátové senzorové sítě". Bezdrátové sítě. 22 (1): 135–157. doi:10.1007 / s11276-015-0960-x. ISSN 1022-0038.
- ^ A b Chen, Chen; Jafari, Roozbeh; Kehtarnavaz, Nasser (2015). "Průzkum fúze hloubky a setrvačnosti senzoru pro rozpoznávání lidské činnosti". Multimediální nástroje a aplikace. 76 (3): 4405–4425. doi:10.1007 / s11042-015-3177-1. ISSN 1380-7501.
- ^ Banovic, Nikola; Buzali, Tofi; Chevalier, Fanny; Mankoff, Jennifer; Dey, Anind K. (2016). "Modelování a porozumění rutinnímu chování člověka". Sborník z konference CHI 2016 o lidských faktorech ve výpočetních systémech - CHI '16. 248–260. doi:10.1145/2858036.2858557. ISBN 9781450333627.
- ^ Maria, Aileni Raluca; Sever, Pasca; Carlos, Valderrama (2015). "Algoritmus fúze dat biomedicínských senzorů pro zvýšení účinnosti systémů odolných proti chybám v případě nositelného elektronického zařízení". 2015 Conference Grid, Cloud & High Performance Computing in Science (ROLCG). s. 1–4. doi:10.1109 / ROLCG.2015.7367228. ISBN 978-6-0673-7040-9.
- ^ Gross, Jason; Yu Gu; Matthew Rhudy; Srikanth Gururajan; Marcello Napolitano (červenec 2012). "Vyhodnocení letových testů algoritmů fúze senzorů pro odhad polohy". Transakce IEEE na letectví a elektronických systémech. 48 (3): 2128–2139. doi:10.1109 / TAES.2012.6237583.
- ^ Joshi, V., Rajamani, N., Takayuki, K., Prathapaneni, N., Subramaniam, L. V. (2013). Učení založené na informační fúzi pro snímání stavu skromného provozu. Sborník z dvacáté třetí mezinárodní společné konference o umělé inteligenci.CS1 maint: více jmen: seznam autorů (odkaz)
- ^ Mircea Paul, Muresan; Ion, Giosan; Sergiu, Nedevschi (2020-02-18). „Stabilizace a validace polohy 3D objektů pomocí fúze multimodálních senzorů a sémantické segmentace“. Senzory. 20 (4): 1110. doi:10,3390 / s20041110. PMID 32085608.
- ^ Ran, Lingyan; Zhang, Yanning; Wei, Wei; Zhang, Qilin (2017-10-23). „Rámec klasifikace hyperspektrálního obrazu s funkcemi párů prostorových pixelů“. Senzory. 17 (10): 2421. doi:10,3390 / s17102421. PMC 5677443. PMID 29065535.
externí odkazy
- ^ Haghighat, Mohammad; Abdel-Mottaleb, Mohamed; Alhalabi, Wadee (2016). „Diskriminační korelační analýza: fúze úrovní funkcí v reálném čase pro multimodální biometrické rozpoznávání“. Transakce IEEE týkající se forenzní a bezpečnostní informace. 11 (9): 1984–1996. doi:10.1109 / TIFS.2016.2569061.