Infomax - Infomax
Infomax je optimalizační princip pro umělé neuronové sítě a další systémy zpracování informací. Předepisuje, že funkce, která mapuje sadu vstupních hodnot Já na sadu výstupních hodnot Ó by měl být vybrán nebo naučen tak, aby maximalizoval průměr Shannon vzájemné informace mezi Já a Ó, s výhradou souboru specifických omezení a / nebo hlukových procesů. Algoritmy Infomax se učí algoritmy kteří provádějí tento optimalizační proces. Princip popsal Linsker v roce 1988.[1]
Infomax ve svém limitu nulového šumu souvisí s principem redukce redundance navrženým pro biologické senzorické zpracování pomocí Horace Barlow v roce 1961,[2] a kvantitativně aplikován na zpracování sítnice Atickem a Redlichem.[3]
Jednou z aplikací infomaxu byla aplikace analýza nezávislých komponent algoritmus který najde nezávislé signály maximalizací entropie. ICA na bázi Infomax popsali Bell a Sejnowski a Nadal a Parga v roce 1995.[4] [5]
Viz také
Reference
- ^ Linsker R (1988). "Samoorganizace v percepční síti". Počítač IEEE. 21 (3): 105–17. doi:10.1109/2.36.
- ^ Barlow, H. (1961). "Možné principy, které jsou základem transformací smyslových zpráv". V Rosenblith, W. (ed.). Senzorická komunikace. Cambridge MA: MIT Press. 217–234.
- ^ Atick JJ, Redlich AN (1992). „Co ví sítnice o přírodních scénách?“. Neurální výpočet. 4 (2): 196–210. doi:10.1162 / neco.1992.4.2.196.
- ^ Bell AJ, Sejnowski TJ (listopad 1995). "Přístup maximalizující informace k slepé separaci a slepé dekonvoluci". Neural Comput. 7 (6): 1129–59. CiteSeerX 10.1.1.36.6605. doi:10.1162 / neco.1995.7.6.1129. PMID 7584893.
- ^ Nadal J.P., Parga N. (1999). Msgstr "Senzorické kódování: maximalizace informací a snížení redundance". V Burdet, G .; Combe, P .; Parodi, O. (eds.). Zpracování neurálních informací. World Scientific Series in Mathematical Biology and Medicine. 7. Singapur: World Scientific. 164–171.
- Bell AJ, Sejnowski TJ (prosinec 1997). „„ Nezávislými složkami “přírodních scén jsou hranové filtry“. Vision Res. 37 (23): 3327–38. doi:10.1016 / S0042-6989 (97) 00121-1. PMC 2882863. PMID 9425547.
- Linsker R (1997). "Místní pravidlo učení, které umožňuje maximalizaci informací pro libovolné distribuce vstupů". Neurální výpočet. 9 (8): 1661–65. doi:10.1162 / neco.1997.9.8.1661.
- Kámen, J. V. (2004). Analýza nezávislých komponent: Úvod do cvičení. Cambridge MA: MIT Press. ISBN 978-0-262-69315-8.
 | Tento aplikovaná matematika související článek je a pahýl. Wikipedii můžete pomoci pomocí rozšiřovat to. |