Nerovnost Fanos - Fanos inequality - Wikipedia

v teorie informace, Fanova nerovnost (také známý jako Fano konverzovat a Fano lemma) vztahuje průměrnou informaci ztracenou v hlučném kanálu k pravděpodobnosti chyby kategorizace. To bylo odvozeno od Robert Fano na počátku 50. let při výuce a Ph.D. seminář z teorie informace na MIT, a později zaznamenal ve své učebnici z roku 1961.

Používá se k vyhledání dolní meze pravděpodobnosti chyby libovolného dekodéru i dolní meze pro rizika minimax v odhad hustoty.

Nech náhodné proměnné ${ displaystyle X}$ a ${ displaystyle Y}$ představují vstupní a výstupní zprávy pomocí a společná pravděpodobnost ${ displaystyle P (x, y)}$. Nechat ${ displaystyle e}$ představují výskyt chyby; tj. to ${ displaystyle X neq { tilde {X}}}$, s ${ displaystyle { tilde {X}} = f (Y)}$ je přibližná verze ${ displaystyle X}$. Fanova nerovnost je

${ displaystyle H (X | Y) leq H (e) + P (e) log (| { mathcal {X}} | -1),}$

kde ${ displaystyle { mathcal {X}}}$ označuje podporu ${ displaystyle X}$,

${ displaystyle H left (X | Y right) = - sum _ {i, j} P (x_ {i}, y_ {j}) log P left (x_ {i} | y_ {j} že jo)}$

je podmíněná entropie,

${ displaystyle P (e) = P (X neq { tilde {X}})}$

je pravděpodobnost chyby komunikace a

${ Displaystyle H (e) = - P (e) log P (e) - (1-P (e)) log (1-P (e))}$

je odpovídající binární entropie.

Alternativní formulace

Nechat ${ displaystyle X}$ být náhodná proměnná s hustota rovná se jednomu z ${ displaystyle r + 1}$ možné hustoty ${ displaystyle f_ {1}, ldots, f_ {r + 1}}$. Kromě toho Kullback – Leiblerova divergence mezi dvojicí hustot nemůže být příliš velká,

${ displaystyle D_ {KL} (f_ {i} | f_ {j}) leq beta}$ pro všechny ${ displaystyle i not = j.}$

Nechat ${ displaystyle psi (X) v {1, ldots, r + 1 }}$ být odhadem indexu. Pak

${ displaystyle sup _ {i} P_ {i} ( psi (X) not = i) geq 1 - { frac { beta + log 2} { log r}}}$

kde ${ displaystyle P_ {i}}$ je pravděpodobnost vyvolané ${ displaystyle f_ {i}}$

Zobecnění

Následující zevšeobecnění je způsobeno Ibragimovem a Khasminskii (1979), Assouad a Birge (1983).

Nechat F být třídou hustoty s podtřídou r + 1 hustota ƒ_θ takový, že pro každého θ ≠ θ′

${ displaystyle | f _ { theta} -f _ { theta '} | _ {L_ {1}} geq alpha,}$

${ displaystyle D_ {KL} (f _ { theta} | f _ { theta '}) leq beta.}$

V nejhorším případě pak očekávaná hodnota chyby odhadu je vázána zespodu,

${ displaystyle sup _ {f in mathbf {F}} E | f_ {n} -f | _ {L_ {1}} geq { frac { alpha} {2}} vlevo ( 1 - { frac {n beta + log 2} { log r}} right)}$

kde ƒ_n je jakýkoli odhad hustoty na základě a vzorek velikosti n.

Reference

• P. Assouad, „Deux remarques sur l'estimation“, Comptes Rendus de l'Académie des Sciences de Paris, Sv. 296, s. 1021–1024, 1983.
• L. Birge, „Odhad hustoty podle omezení objednávky: nasymptotické riziko minimax“, technická zpráva, UER de Sciences Économiques, Universite Paris X, Nanterre, Francie, 1983.
• T. Cover, J. Thomas (1991). Základy teorie informace. str.38–42. ISBN  978-0-471-06259-2.
• L. Devroye, Kurz odhadu hustoty. Pokrok v pravděpodobnosti a statistikách, svazek 14. Boston, Birkhauser, 1987. ISBN  0-8176-3365-0, ISBN  3-7643-3365-0.
• Fano, Robert (1968). Přenos informací: statistická teorie komunikace. Cambridge, Massachusetts: MIT Press. ISBN  978-0-262-56169-3. OCLC  804123877.CS1 maint: ref = harv (odkaz)
  • také: Cambridge, Massachusetts, M.I.T. Press, 1961. ISBN  0-262-06001-9
• R. Fano, Fano nerovnost Scholarpedia, 2008.
• I. A. Ibragimov, R. Z. Has′minskii, Statistický odhad, asymptotická teorie. Applications of Mathematics, roč. 16, Springer-Verlag, New York, 1981. ISBN  0-387-90523-5