Hluboké učení ve fotoakustickém zobrazování - Deep learning in photoacoustic imaging

Zobrazení fotoakustické tomografie

Hluboké učení ve fotoakustickém zobrazování kombinuje hybridní zobrazovací modalitu fotoakustické zobrazování (PA) s rychle se rozvíjejícím oborem hluboké učení. Fotoakustické zobrazování je založeno na fotoakustickém efektu, při kterém optická absorpce způsobí zvýšení teploty, což způsobí následný nárůst tlaku prostřednictvím termoelastické expanze.^[1] Tento nárůst tlaku se šíří tkání a je snímán pomocí ultrazvukových snímačů. Vzhledem k proporcionalitě mezi optickou absorpcí, nárůstem teploty a nárůstem tlaku lze použít signál ultrazvukové tlakové vlny ke kvantifikaci původního ukládání optické energie ve tkáni.^[2]

Fotoakustické zobrazování má v obou aplikacích hluboké učení fotoakustická počítačová tomografie (PAKT) a fotoakustická mikroskopie (PAM). PACT využívá optické buzení v širokém poli a řadu neostřených ultrazvukových měničů.^[1] Podobný jiná počítačová tomografie metody je vzorek zobrazen v několika úhlech pohledu, které jsou poté použity k provedení algoritmu inverzní rekonstrukce založené na detekční geometrii (obvykle prostřednictvím univerzální zpětné projekce,^[3] upravené zpoždění a součet,^[4] nebo obrácení času ^[5][6]) k vyvolání počátečního rozložení tlaku ve tkáni. PAM na druhé straně používá zaostřenou detekci ultrazvuku v kombinaci se slabě zaměřeným optickým buzením (akustické rozlišení PAM nebo AR-PAM) nebo pevně zaměřeným optickým buzením (optické rozlišení PAM nebo OR-PAM).^[7] PAM obvykle zachycuje obrázky bod po bodu pomocí mechanického rastrového skenovacího vzoru. V každém naskenovaném bodě poskytuje akustická doba letu axiální rozlišení, zatímco akustické zaostření poskytuje boční rozlišení.^[1]

Aplikace hlubokého učení v PACT

Jednou z prvních aplikací hlubokého učení v PACT byl Reiter et al.^[8] ve kterém byla trénována hluboká neuronová síť, aby se naučila prostorové impulzní reakce a lokalizovala fotoakustické bodové zdroje. Výsledné průměrné chyby umístění axiálního a laterálního bodu na 2 412 jejich náhodně vybraných testovacích obrazech byly 0,28 mm, respektive 0,37 mm. Po této počáteční implementaci se aplikace hlubokého učení v PACT rozdělily primárně na odstraňování artefaktů z akustických odrazů,^[9] řídké vzorkování,^[10][11][12] omezený pohled,^[13][14][15] a omezená šířka pásma.^{[16][14][17][18]} V PACT také proběhla nedávná práce zaměřená na využití hlubokého učení pro lokalizaci vlnoplochy.^[19] Existují sítě založené na fúzi informací ze dvou různých rekonstrukcí, aby se zlepšila rekonstrukce pomocí sítí založených na hluboké fúzi.^[20]

Pomocí hlubokého učení k vyhledání fotoakustických bodových zdrojů

Tradiční techniky fotoakustického formování paprsků modelovaly šíření fotoakustických vln pomocí geometrie pole detektorů a doby letu, aby se zohlednily rozdíly v době příchodu signálu PA. Tato technika však nedokázala zohlednit dozvukové akustické signály způsobené akustickým odrazem, což mělo za následek artefakty akustického odrazu, které narušují skutečné informace o umístění zdroje fotoakustického bodu. V Reiteru et al.,^[8] konvoluční neuronová síť (podobná jednoduché VGG-16 ^[21] byla použita architektura, která jako vstup brala předzaformovaná fotoakustická data a odešla výsledek klasifikace určující umístění zdroje 2-D bodu.

Odstranění artefaktů akustického odrazu (v přítomnosti více zdrojů a šumu kanálu)

Staví na práci Reitera et al.,^[8] Allman et al. ^[9] využil plný VGG-16 ^[21] architektura k vyhledání bodových zdrojů a odstranění odrazových artefaktů v surových datech fotoakustického kanálu (v přítomnosti více zdrojů a šumu kanálu). Toto využití hlubokého učení trénovaného na simulovaných datech vytvořených v systému Windows MATLAB knihovna k-wave a poté své výsledky znovu potvrdily na experimentálních datech.

Špatně položená rekonstrukce PACT

V PACT se provádí tomografická rekonstrukce, při které se projekce z více plných úhlů spojí a vytvoří obraz. Při metodách rekonstrukce, jako je filtrovaná zpětná projekce nebo obrácení času, jsou špatně inverzní problémy ^[22] z důvodu odběru vzorků pod Nyquist-Shannon Požadavek na vzorkování nebo s omezenou šířkou pásma / zobrazením výsledná rekonstrukce obsahuje obrazové artefakty. Tyto artefakty byly tradičně odstraňovány pomalými iterativními metodami, jako je celková minimalizace variací, ale příchod přístupů hlubokého učení otevřel novou cestu, která se využívá a priori znalosti ze síťového školení k odstranění artefaktů. V metodách hlubokého učení, které se snaží odstranit tyto řídké vzorkování, omezenou šířku pásma a omezené artefakty, typický pracovní postup zahrnuje nejprve provedení špatně založené techniky rekonstrukce k transformaci předformátovaných dat do 2-D reprezentace počáteční rozložení tlaku, které obsahuje artefakty. Pak konvoluční neuronová síť (CNN) je trénován na odstraňování artefaktů, aby vytvořil artefaktovou reprezentaci základní pravda počáteční rozložení tlaku.

Použití hlubokého učení k odstranění řídkých artefaktů vzorkování

Když je hustota jednotných tomografických úhlů pohledu pod tím, co předepisuje Nyquist-Shannonova vzorkovací věta, říká se, že zobrazovací systém provádí řídké vzorkování. Řídké vzorkování se obvykle vyskytuje jako způsob, jak udržet nízké výrobní náklady a zlepšit rychlost získávání obrazu.^[10] Typické síťové architektury používané k odstranění těchto řídkých artefaktů vzorkování jsou U-net^[10][12] a plně hustý (FD) U-net.^[11] Obě tyto architektury obsahují fázi komprese a dekomprese. Fáze komprese se učí komprimovat obraz do latentní reprezentace, která postrádá zobrazovací artefakty a další podrobnosti.^[23] Fáze dekomprese se poté zkombinuje s informacemi předanými zbytkovými připojeními, aby bylo možné přidat podrobnosti zpětného obrázku, aniž byste přidali podrobnosti spojené s artefakty.^[23] FD U-net upravuje původní architekturu U-net zahrnutím hustých bloků, které umožňují vrstvám využívat informace získané předchozími vrstvami v hustém bloku.^[11] Byla navržena další technika využívající jednoduchou architekturu založenou na CNN k odstraňování artefaktů a zlepšování rekonstrukce obrazu vlnou k.^[17]

Odstranění artefaktů s omezeným zobrazením pomocí hlubokého učení

Když oblast částečných plných úhlů není zachycena, obecně kvůli geometrickým omezením, získávání obrazu má omezený pohled.^[24] Jak dokládají Davoudiho experimenty et al.,^[12] korupce s omezeným pohledem lze přímo pozorovat jako chybějící informace v frekvenční doména rekonstruovaného obrazu. Omezené zobrazení, podobné řídkému vzorkování, způsobí, že počáteční algoritmus rekonstrukce bude špatně položený. Před hlubokým učením byl problém s omezeným výhledem vyřešen složitým hardwarem, jako jsou akustické deflektory^[25] a pole kruhových snímačů,^[12][26] stejně jako řešení jako komprimované snímání,^{[27][28][29][30][31]} vážený faktor,^[32] a iterativní filtrovaná zpětná projekce.^[33][34] Výsledkem této špatně postavené rekonstrukce jsou zobrazovací artefakty, které lze odstranit pomocí CNN. Algoritmy hlubokého učení používané k odstranění artefaktů s omezeným zobrazením zahrnují U-net^[12][15] a FD U-net,^[35] stejně jako generativní nepřátelské sítě (GAN)^[14] a volumetrické verze sítě U-net.^[13] Jedna implementace poznámky GAN vylepšená na U-net pomocí U-net jako generátoru a VGG jako diskriminátoru, s Wassersteinova metrika a gradientový trest pro stabilizaci tréninku (WGAN-GP).^[14]

Odstranění artefaktu s omezenou šířkou pásma pomocí hlubokých neuronových sítí

Problém s omezenou šířkou pásma nastává v důsledku omezené detekční frekvence pásma ultrazvukového snímače. Toto pole měniče funguje jako pásmový filtr ve frekvenční doméně a tlumí vysoké i nízké frekvence ve fotoakustickém signálu.^{[15] [16]}Tato omezená šířka pásma může způsobit artefakty a omezit axiální rozlišení zobrazovacího systému.^[14] Primární architektury hluboké neurální sítě používané k odstranění artefaktů s omezenou šířkou pásma byly WGAN-GP^[14] a upravený U-net.^{[15] [16]}Typickou metodou k odstranění artefaktů a deaktivaci rekonstrukcí s omezenou šířkou pásma před hlubokým učením byla Wienerova filtrace, která pomáhá rozšířit frekvenční spektrum signálu PA.^[14] Primární výhodou metody hlubokého učení oproti Wienerovu filtrování je, že Wienerovo filtrování vyžaduje vysokou počáteční hodnotu odstup signálu od šumu (SNR), což není vždy možné, zatímco model hlubokého učení takové omezení nemá.^[14]

Spojení informací pro zlepšení fotoakustických obrazů s hlubokými neuronovými sítěmi

Doplňkové informace se využívají pomocí architektur založených na fúzi ke zlepšení rekonstrukce fotoakustického obrazu.^[20] Vzhledem k tomu, že různé rekonstrukce podporují různé charakteristiky ve výstupu, a proto se kvalita a charakteristiky obrazu liší, pokud se použije odlišná technika rekonstrukce.^[20] Byla navržena nová architektura založená na fúzi, která kombinuje výstup dvou různých rekonstrukcí a poskytuje lepší kvalitu obrazu ve srovnání s jakoukoli z těchto rekonstrukcí. Zahrnuje sdílení hmotnosti a fúzi charakteristik k dosažení požadovaného zlepšení kvality výstupního obrazu.^[20]

Aplikace hlubokého učení v PAM

Zobrazení metody mechanického rastrového skenování

Fotoakustická mikroskopie se liší od jiných forem fotoakustické tomografie v tom, že využívá zaměřenou ultrazvukovou detekci k získávání obrazů po jednotlivých pixelech. Snímky PAM jsou získávány jako časově rozlišená volumetrická data, která jsou obvykle mapována na 2D projekci pomocí Hilbertova transformace a maximální amplitudová projekce (MAP).^[1] První aplikace hlubokého učení na PAM měla podobu algoritmu korekce pohybu.^[36] Tento postup byl určen k opravě artefaktů PAM, ke kterým dochází, když in vivo model se během skenování pohybuje. Tento pohyb vytváří vzhled diskontinuit cév.

Hluboké učení k odstranění pohybových artefaktů v PAM

Dva primární typy pohybových artefaktů řešené hlubokým učením v PAM jsou posunutí ve svislém a nakloněném směru. Chen et al.^[36] použil jednoduchou třívrstvou konvoluční neurální síť, přičemž každá vrstva byla představována váhovou maticí a zkreslujícím vektorem, aby odstranila pohybové artefakty PAM. Dvě z konvolučních vrstev obsahují aktivační funkce RELU, zatímco poslední nemá aktivační funkci.^[36] Pomocí této architektury byly testovány velikosti jádra 3 × 3, 4 × 4 a 5 × 5, přičemž nejlepší výsledky přinesla největší velikost jádra 5 × 5.^[36] Po tréninku byl testován výkon modelu korekce pohybu, který fungoval dobře jak na simulaci, tak na in vivo data.^[36]

Viz také

• Fotoakustické zobrazování
• Fotoakustická mikroskopie
• Fotoakustický efekt

Reference

externí odkazy

Fotoakustické zobrazování

Fotoakustická mikroskopie

Fotoakustický efekt