Sériová časově kódovaná amplifikovaná mikroskopie - Serial time-encoded amplified microscopy

Sériové časově kódované zesílené zobrazování / mikroskopie nebo natažené časově kódované zesílené zobrazování / mikroskopie “ (PÁRA) je rychlá metoda optického zobrazování v reálném čase, která poskytuje obnovovací kmitočet MHz, rychlost závěrky ~ 100 ps a optické zesílení obrazu ~ 30 dB (× 1000). Na základě techniky Photonic Time Stretch drží STEAM světové rekordy rychlost závěrky a snímková frekvence v nepřetržitém zobrazování v reálném čase. STEAM využívá Photonic Time Stretch s interním Ramanovým zesílením k realizaci optického zesílení obrazu, aby obešel základní kompromis mezi citlivostí a rychlostí, který ovlivňuje prakticky všechny optické zobrazovací a snímací systémy. Tato metoda používá jeden pixel fotodetektor, což eliminuje potřebu pole detektorů a omezení časových údajů. Abychom se tomuto problému vyhnuli a díky optickému zesílení obrazu pro dramatické zlepšení citlivosti při vysokých rychlostech pořizování obrazu, je rychlost závěrky STEAMu nejméně 1 000krát rychlejší než nejmodernější CCD[1] a CMOS[2] kamery. Jeho snímková frekvence je 1000krát rychlejší než nejrychlejší CCD kamery a 10-100krát rychlejší než nejrychlejší CMOS kamery.

Dějiny

Systém kombinoval fotonický časový úsek s interním Ramanovým zesílením, technologií vyvinutou dříve k vytvoření femtosekundového jednorázového digitizéru v reálném čase[3] a jediný výstřel stimulovaný Ramanův spektrometr [4] s konceptem spektrálního kódování. První demonstrace byla jednorozměrná verze[5] a později dvourozměrná verze.[6] Nedávno byl vytvořen rychlý zobrazovací vibrometr rozšířením systému o interferometrickou konfiguraci.[7] Tato technologie byla poté rozšířena na kvantitativní fázové zobrazování s časovým napětím (TS-QPI ) pro klasifikaci krevních buněk bez označení a v kombinaci s umělou inteligencí (AI) pro klasifikaci rakovinných buněk v krvi s přesností přes 96%.[8] Systém měřil 16 biofyzikálních parametrů buněk současně v jednom záběru a provedl hyper-dimenzionální klasifikaci pomocí Deep Neural Network (DNN). Výsledky byly porovnány s jinými algoritmy klasifikace strojového učení, jako je logistická regrese a naivní Bayes s nejvyšší přesností získanou pomocí hlubokého učení.

Pozadí

Rychlá technologie optického zobrazování v reálném čase je nepostradatelná pro studium dynamických událostí, jako je rázové vlny, laserová fúze chemická dynamika v živých buňkách, nervová aktivita, laserová operace, mikrofluidika a MEMS. Obvyklé techniky konvenční CCD a CMOS kamery nejsou dostatečné pro snímání rychlých dynamických procesů s vysokou citlivostí a rychlostí; existují technologická omezení - načtení dat z pole senzorů vyžaduje čas a existuje zásadní kompromis mezi citlivostí a rychlostí: při vysokých snímkových frekvencích se během každého snímku shromažďuje méně fotonů, což je problém, který ovlivňuje téměř všechny optické snímky systémy.

The pruhová kamera, který se používá k diagnostice laserové fúze, plazmového záření a spalování, pracuje pouze v režimu série (poskytuje pouze několik snímků) a vyžaduje synchronizaci kamery s událostí, která má být zachycena. Proto není schopen zachytit náhodné nebo přechodné události v biologických systémech. Stroboskopy mají doplňkovou roli: mohou zachytit dynamiku rychlých událostí - ale pouze v případě, že se událost opakuje, jako jsou rotace, vibrace a oscilace. Nejsou schopni zachytit neopakující se náhodné události, ke kterým dojde pouze jednou nebo k nim nedochází v pravidelných intervalech.

Princip činnosti

Základní princip zahrnuje dva kroky, oba provedené opticky. V prvním kroku je spektrum širokopásmového optického pulzu převedeno prostorovým disperzorem na duhu, která osvětluje cíl. Zde duhový pulz sestává z mnoha dílčích pulzů různých barev (frekvencí), což naznačuje, že různé frekvenční složky (barvy) duhového pulzu dopadají na různé prostorové souřadnice na objektu. Proto je prostorová informace (obraz) objektu zakódována do spektra výsledného odraženého nebo přenášeného duhového pulzu. Obrazově odražený odražený nebo přenášený duhový puls se vrací do stejného prostorového dispergátoru nebo vstupuje do jiného prostorového dispergátoru, aby kombinoval barvy duhy zpět do jediného pulzu. Rychlost závěrky nebo doba expozice STEAMu zde odpovídá časové šířce duhového pulzu. Ve druhém kroku je spektrum mapováno na sériový dočasný signál, který je pomocí času roztažen v čase disperzní Fourierova transformace zpomalit jej tak, aby jej bylo možné digitalizovat v reálném čase. Časový úsek se odehrává uvnitř disperzního vlákna, které je čerpáno za účelem vytvoření vnitřního Ramanova zesílení. Zde je obraz opticky zesílen pomocí stimulovaný Ramanův rozptyl překonat hladinu tepelného šumu detektoru. Zesílený časově natažený sériový obrazový proud je detekován jednopixelovým fotodetektorem a obraz je rekonstruován v digitální doméně. Následné pulsy zachycují opakující se snímky, proto rychlost opakování laserových pulzů odpovídá snímkové frekvenci STEAM. Druhý je známý jako převodník analogově-digitálního času, jinak známý jako rozsah záznamu časového úseku (TiSER).

Zesílená disperzní Fourierova transformace

Simultánní roztažení a zesílení je také známé jako zesílený časový úsek disperzní Fourierova transformace (TS-DFT).[9][10] Technologie zesíleného časového roztažení byla vyvinuta dříve, aby demonstrovala analogově-digitální převod s femtosekundovou vzorkovací frekvencí v reálném čase [3] a demonstrovat stimulovanou Ramanovu spektroskopii v jediném záběru rychlostí miliónů snímků za sekundu.[4] Zesílený časový úsek je proces, při kterém je spektrum optického pulzu mapováno velkou rychlostí skupiny disperze do zpomaleného časového průběhu a zesíleného současně procesem stimulovaný Ramanův rozptyl. V důsledku toho lze optické spektrum zachytit pomocí jediného pixelu fotodetektor a digitalizovány v reálném čase. Pulzy se opakují pro opakovaná měření optického spektra. Amplified time stretch DFT se skládá z disperzního vlákna čerpaného lasery a multiplexerů s dělením vlnových délek, které spojují lasery do a z disperzního vlákna. Zesílená disperzní Fourierova transformace byla původně vyvinuta pro umožnění ultra širokopásmové analogově-digitální převaděče a také se používá pro vysokou propustnost v reálném čase spektroskopie. Rozlišení zobrazovače STEAM je určováno hlavně difrakčním limitem, vzorkovací frekvencí koncového digitizéru a prostorovými dispergátory.[11]

Kvantitativní fázové zobrazování s časovým úsekem

Úplný popis naleznete na adrese www.nature.com/articles/srep21471.
Kvantitativní fázový zobrazovací systém s časovým napínáním je mikroskop s umělou inteligencí, který zahrnuje velké analytické potrubí pro strojové vidění a učení. Licencování obrázků CC BY 4.0 -

Kvantitativní fázové zobrazování v čase (TS-QPI) je zobrazovací technika založená na technologii time-stretch pro simultánní měření prostorových profilů fáze a intenzity.[12][13][14][15] Vyvinutý na UCLA vedl k vývoji mikroskopu s časovou roztažností umělé inteligence.[12]

Zobrazování natažené časem

V časově napnutém zobrazování jsou prostorové informace o objektu zakódovány do spektrum z laserové pulsy během doby trvání pulzunanosekundy. Každý pulz představující jeden snímek Fotoaparát se pak natáhne v čase tak, aby to mohlo být digitalizováno v reálném čase elektronicky analogově-digitální převodník (ADC). Ultra rychlý pulzní osvětlení zmrazí pohyb vysokorychlostních buněk nebo částic v toku, aby bylo dosaženo zobrazování bez rozmazání. Citlivost detekce je zpochybněna nízkým počtem fotony shromážděné během velmi krátké doby závěrky (šířka optického impulsu) a poklesu špičkového optického výkonu vyplývajícího z časového úseku.[16] Tyto problémy jsou řešeny v zobrazování v časovém úseku implementací nízkošumového čísla Ramanův zesilovač uvnitř disperzního zařízení, které provádí protahování času. Pokřivenou roztahovou transformaci lze navíc použít v časovém roztažení k dosažení optické komprese obrazu a nerovnoměrného prostorového rozlišení v zorném poli.

V koherentní verze kamery s časovým napínáním, zobrazování je kombinován s spektrální interferometrie měřit kvantitativní fáze[17][18] a obrázky intenzity v reálném čase a při vysoké propustnosti. Integrovaný s mikrofluidním kanálem, koherentní zobrazovací systém s časovým napínáním měří jak kvantitativní optický fázový posun, tak ztrátu jednotlivých buněk jako vysokorychlostní zobrazovací průtokový cytometr, zachycující miliony řádkových obrazů za sekundu v rychlostech až několika metrů za sekundu dosahující propustnosti až stotisíců buněk za sekundu. Kvantitativní fázové zobrazování časového úseku lze kombinovat se strojovým učením, aby se dosáhlo velmi přesné klasifikace buněk bez označení.

Aplikace

Tato metoda je užitečná pro širokou škálu vědeckých, průmyslových a biomedicínských aplikací, které vyžadují vysoké rychlosti závěrky a snímkové frekvence. Jednorozměrnou verzi lze použít pro snímání posunutí,[Citace je zapotřebí ] čtení čárových kódů,[Citace je zapotřebí ] a screening krve;[19] dvourozměrná verze pro pozorování, diagnostiku a hodnocení rázových vln v reálném čase, mikrofluidní tok,[20] nervová aktivita, MEMS,[21] a dynamika laserové ablace.[Citace je zapotřebí ] Trojrozměrná verze je užitečná pro detekci rozsahu,[Citace je zapotřebí ] rozměrová metrologie,[Citace je zapotřebí ] a povrchová vibrometrie a velocimetrie.[22]

Komprese obrazu v optické doméně

Ilustrace deformované napínací transformace v zobrazování.
Komprese obrazu deformovanou roztažnou transformací.

Big data přinášejí nejen příležitost, ale také výzvu v biomedicínských a vědeckých nástrojích, jejichž jednotky pro získávání a zpracování jsou zahlceny přívalem dat. Potřeba komprimovat obrovské objemy dat v reálném čase podnítila zájem o nerovnoměrné roztažení transformací - operace, které přetvářejí data podle jeho řídkosti.

Nedávno vědci z UCLA demonstrovali kompresi obrazu prováděnou v optické doméně a v reálném čase.[23] Pomocí nelineární disperze skupinového zpoždění a zobrazování s časovým roztažením byli schopni opticky pokřivit obraz tak, že části bohaté na informace jsou vzorkovány při vyšší hustotě vzorku než řídké oblasti. To bylo provedeno restrukturalizací obrazu před opticko-elektrickou konverzí následovanou jednotným elektronickým vzorkovačem. Rekonstrukce nerovnoměrně roztaženého obrazu ukazuje, že rozlišení je vyšší, pokud jsou informace bohaté, a nižší, pokud jsou informace mnohem menší a relativně nedůležité. Oblast bohatá na informace ve středu je dobře zachována při zachování stejné vzorkovací frekvence ve srovnání s jednotným případem bez vzorkování dolů. Komprese obrazu byla prokázána rychlostí 36 milionů snímků za sekundu v reálném čase.

Viz také

Reference

  1. ^ J. R. Janesick (2001). Vědecká zařízení vázaná na náboj. SPIE Stiskněte. ISBN  9780819436986.
  2. ^ H. Zimmermann (2000). Integrovaná křemíková optoelektronika. Springer. ISBN  978-3540666622.
  3. ^ A b Chou, J .; Boyraz, O .; Solli, D .; Jalali, B. (2007). „Femtosekundový jednorázový digitizér v reálném čase“. Aplikovaná fyzikální písmena. 91 (16): 161105–1–161105–3. Bibcode:2007ApPhL..91p1105C. doi:10.1063/1.2799741 - přes Researchgate.net.
  4. ^ A b Solli, D.R .; Boyraz, O .; Jalali, B. (2008). „Zesílená transformace vlnové délky v čase pro spektroskopii v reálném čase“. Fotonika přírody. 2 (1): 48–51. Bibcode:2008NaPho ... 2 ... 48S. doi:10.1038 / nphoton.2007.253. S2CID  8991606.
  5. ^ K. Goda; K. K. Tsia a B. Jalali (2008). „Zesílené disperzní zobrazování Fourierovou transformací pro ultrarychlé snímání posunutí a čtení čárových kódů“. Aplikovaná fyzikální písmena. 93 (13): 131109. arXiv:0807.4967. Bibcode:2008ApPhL..93m1109G. doi:10.1063/1.2992064. S2CID  34751462.
  6. ^ K. Goda; K. K. Tsia a B. Jalali (2009). "Sériové časově kódované zesílené zobrazování pro sledování rychlých dynamických jevů v reálném čase". Příroda. 458 (7242): 1145–9. Bibcode:2009 Natur.458.1145G. doi:10.1038 / nature07980. PMID  19407796. S2CID  4415762.
  7. ^ A. Mahjoubfar; K. Goda; A. Ayazi; A. Fard; S. H. Kim & B. Jalali (2011). „Vysokorychlostní zobrazovací vibrometr a velocimetr s rozlišením nanometrů“. Aplikovaná fyzikální písmena. 98 (10): 101107. Bibcode:2011ApPhL..98j1107M. doi:10.1063/1.3563707.
  8. ^ Chen, C.L .; Mahjoubfar, A .; Tai, L .; Blaby, I .; Huang, A .; Niazi, K .; Jalali, B. (2016). „Hluboké učení v klasifikaci buněk bez štítků“. Vědecké zprávy. 6: 21471. Bibcode:2016NatSR ... 621471C. doi:10.1038 / srep21471. PMC  4791545. PMID  26975219.
  9. ^ K. Goda; D. R. Solli; K. K. Tsia a B. Jalali (2009). "Teorie zesílené disperzní Fourierovy transformace". Fyzický přehled A. 80 (4): 043821. Bibcode:2009PhRvA..80d3821G. doi:10.1103 / PhysRevA.80.043821. hdl:10722/91330.
  10. ^ K. Goda a B. Jalali (2010). „Hluková postava zesílené disperzní Fourierovy transformace“. Fyzický přehled A. 82 (3): 033827. Bibcode:2010PhRvA..82c3827G. doi:10.1103 / PhysRevA.82.033827.
  11. ^ Tsia K. K., Goda K., Capewell D., Jalali B. (2010). "Výkon sériového časově kódovaného zesíleného mikroskopu". Optika Express. 18 (10): 10016–28. Bibcode:2010Oexpr..1810016T. doi:10.1364 / oe.18.010016. hdl:10722/91333. PMID  20588855.CS1 maint: více jmen: seznam autorů (odkaz)
  12. ^ A b Chen, Claire Lifan; Mahjoubfar, Ata; Tai, Li-Chia; Blaby, Ian K .; Huang, Allen; Niazi, Kayvan Reza; Jalali, Bahram (2016). „Hluboké učení v klasifikaci buněk bez štítků“. Vědecké zprávy. 6: 21471. Bibcode:2016NatSR ... 621471C. doi:10.1038 / srep21471. PMC  4791545. PMID  26975219.publikováno pod licencí CC BY 4.0
  13. ^ Michaud, Sarah (5. dubna 2016). „Využití velkých dat pro zobrazování buněk“. Novinky v oblasti optiky a fotoniky. Optická společnost. Citováno 8. července 2016.
  14. ^ „Fotonická časová roztažná mikroskopie v kombinaci s umělou inteligencí skvrny rakovinné buňky v krvi“. Med Gadget. 15. dubna 2016. Citováno 8. července 2016.
  15. ^ Chen, Claire Lifan; Mahjoubfar, Ata; Jalali, Bahram (23. dubna 2015). „Optická komprese dat při zobrazování v čase“. PLOS ONE. 10 (4): e0125106. doi:10.1371 / journal.pone.0125106. PMC  4408077. PMID  25906244.
  16. ^ Mahjoubfar, Ata; Churkin, Dmitry V .; Barland, Stéphane; Broderick, Neil; Turitsyn, Sergei K .; Jalali, Bahram (2017). Msgstr "Časový úsek a jeho aplikace". Fotonika přírody. 11 (6): 341–351. Bibcode:2017NaPho..11..341M. doi:10.1038 / nphoton.2017.76.
  17. ^ G. Popescu, „Kvantitativní fázové zobrazování buněk a tkání,“ McGraw Hill Professional (2011)
  18. ^ Lau, Andy K. S .; Wong, Terence T. W .; Ho, Kenneth K. Y .; Tang, Matthew T. H .; Chan, Antony C. S .; Wei, Xiaoming; Lam, Edmund Y .; Shum, Ho Cheung; Wong, Kenneth K. Y .; Tsia, Kevin K. (2014). "Interferometrická časově-napínací mikroskopie pro ... kvantitativní buněčné a tkáňové zobrazování" (PDF). Journal of Biomedical Optics. Stažení PDF zdarma. 19 (7): 076001. Bibcode:2014JBO .... 19g6001L. doi:10.1117 / 1.JBO.19.7.076001. hdl:10722/200609. PMID  24983913.
  19. ^ Chen C., Mahjoubfar A., ​​Tai L., Blaby I., Huang A., Niazi K., Jalali B. (2016). „Hluboké učení v klasifikaci buněk bez štítků“. Vědecké zprávy. 6: 21471. Bibcode:2016NatSR ... 621471C. doi:10.1038 / srep21471. PMC  4791545. PMID  26975219.CS1 maint: více jmen: seznam autorů (odkaz)
  20. ^ D. Di Carlo (2009). "Inerciální mikrofluidika". Laboratoř na čipu. 9 (21): 3038–46. doi:10.1039 / b912547g. PMID  19823716.
  21. ^ T. R. Hsu (2008). MEMS & microsystems: design, manufacturing, and nanoscale engineering. Wiley. ISBN  978-0470083017.
  22. ^ Mahjoubfar A., ​​Goda K., Ayazi A., Fard A., Kim S., Jalali B. (2011). „Vysokorychlostní zobrazovací vibrometr a velocimetr s rozlišením nanometrů“. Aplikovaná fyzikální písmena. 98 (10): 101107. Bibcode:2011ApPhL..98j1107M. doi:10.1063/1.3563707.CS1 maint: více jmen: seznam autorů (odkaz)
  23. ^ CL Chen; Mahjoubfar; B Jalali (2015). „Optická komprese dat při zobrazování v čase“. PLOS ONE. 10 (4): 1371. doi:10.1371 / journal.pone.0125106. PMC  4408077. PMID  25906244.