Libovolně se měnící kanál - Arbitrarily varying channel - Wikipedia

An libovolně se měnící kanál (AVC) je komunikace model kanálu použito v teorie kódování, a byl poprvé představen Blackwell, Breiman a Thomasian. Tento konkrétní kanál má neznámé parametry, které se mohou v průběhu času měnit, a tyto změny nemusí mít během přenosu a kódové slovo. ${ displaystyle textstyle n}$ využití tohoto kanál lze popsat pomocí a stochastická matice ${ displaystyle textstyle W ^ {n}: X ^ {n} krát}$ ${ displaystyle textstyle S ^ {n} rightarrow Y ^ {n}}$ , kde ${ displaystyle textstyle X}$ je vstupní abeceda, ${ displaystyle textový styl Y}$ je výstupní abeceda a ${ displaystyle textstyle W ^ {n} (y | x, s)}$ je pravděpodobnost v dané sadě stavů ${ displaystyle textstyle S}$ , že přenášený vstup ${ displaystyle textstyle x = (x_ {1}, ldots, x_ {n})}$ vede k přijatému výstupu ${ displaystyle textstyle y = (y_ {1}, ldots, y_ {n})}$ . Stát ${ displaystyle textstyle s_ {i}}$ v sadě ${ displaystyle textstyle S}$ se může libovolně lišit v každé časové jednotce ${ displaystyle textstyle i}$ . Tento kanál byl vyvinut jako alternativa k Shannon Binární symetrický kanál (BSC), kde je celá povaha kanál je známo, že je realističtější než skutečné síťový kanál situacích.

Kapacity a související důkazy

Kapacita deterministických AVC

AVC kapacita se může lišit v závislosti na určitých parametrech.

${ displaystyle textstyle R}$ je dosažitelný hodnotit pro deterministický AVC kód pokud je větší než ${ displaystyle textstyle 0}$ , a pokud pro každé pozitivní ${ displaystyle textstyle varepsilon}$ a ${ displaystyle textstyle delta}$ a velmi velký ${ displaystyle textstyle n}$ , délka- ${ displaystyle textstyle n}$ blokové kódy existují, které splňují následující rovnice: ${ displaystyle textstyle { frac {1} {n}} log N> R- delta}$ a ${ displaystyle displaystyle max _ {s v S ^ {n}} { bar {e}} (s) leq varepsilon}$ , kde ${ displaystyle textstyle N}$ je nejvyšší hodnota v ${ displaystyle textový styl Y}$ a kde ${ displaystyle textstyle { bar {e}} (y)}$ je průměrná pravděpodobnost chyby pro stavovou sekvenci ${ displaystyle textstyle s}$ . Největší hodnotit ${ displaystyle textstyle R}$ představuje kapacita AVC, označeno ${ displaystyle textstyle c}$ .

Jak vidíte, užitečné jsou pouze situace, kdy kapacita AVC je větší než ${ displaystyle textstyle 0}$ , protože pak kanál může přenášet zaručené množství dat ${ displaystyle textstyle leq c}$ bez chyb. Takže začneme s teorém který ukazuje, kdy ${ displaystyle textstyle c}$ je pozitivní v AVC a věty diskutováno později zúží rozsah ${ displaystyle textstyle c}$ pro různé okolnosti.

Před uvedením Věty 1 je třeba se zabývat několika definicemi:

AVC je symetrický -li ${ displaystyle displaystyle sum _ {s v S} W (y | x, s) U (s | x ') = součet _ {s v S} W (y | x', s) U ( s | x)}$ pro každého ${ displaystyle textstyle (x, x ', y, s)}$ , kde ${ displaystyle textstyle x, x ' v X}$ , ${ displaystyle textstyle y v Y}$ , a ${ displaystyle textstyle U (s | x)}$ je funkce kanálu ${ displaystyle textstyle U: X rightarrow S}$ .
${ displaystyle textstyle X_ {r}}$ , ${ displaystyle textstyle S_ {r}}$ , a ${ displaystyle textový styl Y_ {r}}$ všichni jsou náhodné proměnné v sadách ${ displaystyle textstyle X}$ , ${ displaystyle textstyle S}$ , a ${ displaystyle textový styl Y}$ resp.
${ displaystyle textový styl P_ {X_ {r}} (x)}$ se rovná pravděpodobnosti, že náhodná proměnná ${ displaystyle textstyle X_ {r}}$ je rovný ${ displaystyle textstyle x}$ .
${ displaystyle textstyle P_ {S_ {r}} (y)}$ se rovná pravděpodobnosti, že náhodná proměnná ${ displaystyle textstyle S_ {r}}$ je rovný ${ displaystyle textstyle s}$ .
${ displaystyle textstyle P_ {X_ {r} S_ {r} Y_ {r}}}$ je kombinovaný funkce pravděpodobnostní hmotnosti (pmf) ze dne ${ displaystyle textový styl P_ {X_ {r}} (x)}$ , ${ displaystyle textstyle P_ {S_ {r}} (y)}$ , a ${ displaystyle textstyle W (y | x, s)}$ . ${ displaystyle textstyle P_ {X_ {r} S_ {r} Y_ {r}}}$ je definována formálně jako ${ displaystyle textstyle P_ {X_ {r} S_ {r} Y_ {r}} (x, s, y) = P_ {X_ {r}} (x) P_ {S_ {r}} (s) W ( y | x, s)}$ .
${ displaystyle textstyle H (X_ {r})}$ je entropie z ${ displaystyle textstyle X_ {r}}$ .
${ displaystyle textstyle H (X_ {r} | Y_ {r})}$ se rovná průměrné pravděpodobnosti, že ${ displaystyle textstyle X_ {r}}$ bude určitá hodnota založená na všech hodnotách ${ displaystyle textový styl Y_ {r}}$ by se mohl rovnat.
${ displaystyle textstyle I (X_ {r} přistát Y_ {r})}$ je vzájemné informace z ${ displaystyle textstyle X_ {r}}$ a ${ displaystyle textový styl Y_ {r}}$ , a rovná se ${ displaystyle textstyle H (X_ {r}) - H (X_ {r} | Y_ {r})}$ .
${ displaystyle displaystyle I (P) = min _ {Y_ {r}} já (X_ {r} přistát Y_ {r})}$ , kde je minimum nad všemi náhodnými proměnnými ${ displaystyle textový styl Y_ {r}}$ takhle ${ displaystyle textstyle X_ {r}}$ , ${ displaystyle textstyle S_ {r}}$ , a ${ displaystyle textový styl Y_ {r}}$ jsou distribuovány ve formě ${ displaystyle textstyle P_ {X_ {r} S_ {r} Y_ {r}}}$ .

Věta 1: ${ displaystyle textstyle c> 0}$ právě když AVC není symetrický. Li ${ displaystyle textstyle c> 0}$ , pak ${ displaystyle displaystyle c = max _ {P} já (P)}$ .

Důkaz 1. části pro symetrii: Pokud to dokážeme ${ displaystyle textstyle I (P)}$ je pozitivní, když AVC není symetrický, a pak to dokázat ${ displaystyle textstyle c = max _ {P} I (P)}$ , budeme schopni dokázat Větu 1. Předpokládejme ${ displaystyle textstyle I (P)}$ se rovnaly ${ displaystyle textstyle 0}$ . Z definice ${ displaystyle textstyle I (P)}$ , to by bylo ${ displaystyle textstyle X_ {r}}$ a ${ displaystyle textový styl Y_ {r}}$ nezávislý náhodné proměnné, pro některé ${ displaystyle textstyle S_ {r}}$ , protože to by znamenalo, že ani jeden náhodná proměnná je entropie spoléhal by se na toho druhého náhodná proměnná hodnota. Pomocí rovnice ${ displaystyle textstyle P_ {X_ {r} S_ {r} Y_ {r}}}$ , (a pamatuji si ${ displaystyle textstyle P_ {X_ {r}} = P}$ ,) můžeme dostat,

{ displaystyle displaystyle P_ {Y_ {r}} (y) = součet _ {x v X} součet _ {s v S} P (x) P_ {S_ {r}} (s) W ( y | x, s)}

{ displaystyle textstyle equiv (}

od té doby

{ displaystyle textstyle X_ {r}}

a

{ displaystyle textový styl Y_ {r}}

jsou nezávislý náhodné proměnné,

{ displaystyle textstyle W (y | x, s) = W '(y | s)}

pro některé

{ displaystyle textstyle W ')}

{ displaystyle displaystyle P_ {Y_ {r}} (y) = součet _ {x v X} součet _ {s v S} P (x) P_ {S_ {r}} (s) W ' (y | s)}

{ displaystyle textstyle equiv (}

protože jen

{ displaystyle textstyle P (x)}

záleží na

{ displaystyle textstyle x}

Nyní

{ displaystyle textstyle)}

{ displaystyle displaystyle P_ {Y_ {r}} (y) = součet _ {s v S} P_ {S_ {r}} (s) W '(y | s) left [ sum _ {x in X} P (x) right]}

{ displaystyle textstyle equiv (}

protože

{ displaystyle displaystyle suma _ {x v X} P (x) = 1)}

{ displaystyle displaystyle P_ {Y_ {r}} (y) = součet _ {s v S} P_ {S_ {r}} (s) W '(y | s)}

Takže teď máme rozdělení pravděpodobnosti na ${ displaystyle textový styl Y_ {r}}$ to je nezávislý z ${ displaystyle textstyle X_ {r}}$ . Definici symetrického AVC lze nyní přepsat takto: ${ displaystyle displaystyle suma _ {s v S} W '(y | s) P_ {S_ {r}} (s) = součet _ {s v S} W' (y | s) P_ { S_ {r}} (y)}$ od té doby ${ displaystyle textstyle U (s | x)}$ a ${ displaystyle textstyle W (y | x, s)}$ jsou obě funkce založené na ${ displaystyle textstyle x}$ , byly nahrazeny funkcemi založenými na ${ displaystyle textstyle s}$ a ${ displaystyle textstyle y}$ pouze. Jak vidíte, obě strany jsou nyní rovny ${ displaystyle textstyle P_ {Y_ {r}} (y)}$ vypočítali jsme dříve, takže AVC je skutečně symetrické, když ${ displaystyle textstyle I (P)}$ je rovný ${ displaystyle textstyle 0}$ . Proto, ${ displaystyle textstyle I (P)}$ může být pozitivní pouze v případě, že AVC není symetrický.

Důkaz druhé části kapacity: Úplný důkaz naleznete níže v příspěvku „Kapacita revidovaného kanálu libovolně se měnícího kanálu: pozitivita, omezení“.

Kapacita AVC se vstupními a stavovými omezeními

Další teorém se bude zabývat kapacita pro AVC se vstupními a / nebo stavovými omezeními. Tato omezení pomáhají zmenšit velmi velký rozsah možností přenosu a chyb na AVC, takže je o něco snazší vidět, jak se AVC chová.

Než se pustíme do Věty 2, musíme definovat několik definic a lemmat:

Pro takové AVC existují:

- Vstupní omezení

{ displaystyle textstyle Gamma}

na základě rovnice

{ displaystyle displaystyle g (x) = { frac {1} {n}} součet _ {i = 1} ^ {n} g (x_ {i})}

, kde

{ displaystyle textstyle x v X}

a

{ displaystyle textstyle x = (x_ {1}, tečky, x_ {n})}

.

- Státní omezení

{ displaystyle textstyle Lambda}

, na základě rovnice

{ displaystyle displaystyle l (s) = { frac {1} {n}} součet _ {i = 1} ^ {n} l (s_ {i})}

, kde

{ displaystyle textstyle s v X}

a

{ displaystyle textstyle s = (s_ {1}, tečky, s_ {n})}

.

-

{ displaystyle displaystyle Lambda _ {0} (P) = min součet _ {x v X, s v S} P (x) l (s)}

-

{ displaystyle textstyle I (P, Lambda)}

je velmi podobný

{ displaystyle textstyle I (P)}

výše uvedená rovnice,

{ displaystyle displaystyle I (P, Lambda) = min _ {Y_ {r}} já (X_ {r} přistát Y_ {r})}

, ale nyní jakýkoli stát

{ displaystyle textstyle s}

nebo

{ displaystyle textstyle S_ {r}}

v rovnici musí následovat

{ displaystyle textstyle l (s) leq Lambda}

státní omezení.

Převzít ${ displaystyle textstyle g (x)}$ je daná nezáporná funkce na ${ displaystyle textstyle X}$ a ${ displaystyle textstyle l (s)}$ je daná nezáporná funkce na ${ displaystyle textstyle S}$ a že minimální hodnoty pro oba jsou ${ displaystyle textstyle 0}$ . V literatuře, kterou jsem na toto téma četl, jsou přesné definice obou ${ displaystyle textstyle g (x)}$ a ${ displaystyle textstyle l (s)}$ (pro jednu proměnnou ${ displaystyle textstyle x_ {i}}$ ,) není nikdy formálně popsán. Užitečnost vstupního omezení ${ displaystyle textstyle Gamma}$ a státní omezení ${ displaystyle textstyle Lambda}$ bude založeno na těchto rovnicích.

U AVC se vstupními a / nebo stavovými omezeními hodnotit ${ displaystyle textstyle R}$ je nyní omezeno na kódová slova formátu ${ displaystyle textstyle x_ {1}, tečky, x_ {N}}$ které uspokojují ${ displaystyle textstyle g (x_ {i}) leq gama}$ a nyní stát ${ displaystyle textstyle s}$ je omezeno na všechny státy, které splňují ${ displaystyle textstyle l (s) leq Lambda}$ . Největší hodnotit je stále považován za kapacita AVC a nyní je označován jako ${ displaystyle textstyle c ( Gamma, Lambda)}$ .

Lemma 1: Žádný kódy kde ${ displaystyle textstyle Lambda}$ je větší než ${ displaystyle textstyle Lambda _ {0} (P)}$ nelze považovat za „dobré“ kódy, protože ty druhy kódy mít maximální průměrnou pravděpodobnost chyby větší nebo rovnou ${ displaystyle textstyle { frac {N-1} {2N}} - { frac {1} {n}} { frac {l_ {max} ^ {2}} {n ( Lambda - Lambda _ {0} (P)) ^ {2}}}}$ , kde ${ displaystyle textstyle l_ {max}}$ je maximální hodnota ${ displaystyle textstyle l (s)}$ . To není dobrá maximální průměrná pravděpodobnost chyby, protože je poměrně velká, ${ displaystyle textstyle { frac {N-1} {2N}}}$ je blízko ${ displaystyle textstyle { frac {1} {2}}}$ a druhá část rovnice bude velmi malá, protože ${ displaystyle textstyle ( Lambda - Lambda _ {0} (P))}$ hodnota je na druhou a ${ displaystyle textstyle Lambda}$ je nastaven na větší než ${ displaystyle textstyle Lambda _ {0} (P)}$ . Proto by bylo velmi nepravděpodobné, že byste obdrželi a kódové slovo bez chyby. To je důvod, proč ${ displaystyle textstyle Lambda _ {0} (P)}$ podmínka je přítomna ve větě 2.

Věta 2: Vzhledem k tomu, pozitivní ${ displaystyle textstyle Lambda}$ a libovolně malé ${ displaystyle textstyle alpha> 0}$ , ${ displaystyle textstyle beta> 0}$ , ${ displaystyle textstyle delta> 0}$ , pro libovolnou délku bloku ${ displaystyle textstyle n geq n_ {0}}$ a pro jakýkoli typ ${ displaystyle textový styl P}$ s podmínkami ${ displaystyle textstyle Lambda _ {0} (P) geq Lambda + alfa}$ a ${ displaystyle displaystyle min _ {x v X} P (x) geq beta}$ , a kde ${ displaystyle textstyle P_ {X_ {r}} = P}$ , existuje a kód s kódová slova ${ displaystyle textstyle x_ {1}, tečky, x_ {N}}$ , každý typu ${ displaystyle textový styl P}$ , které splňují následující rovnice: ${ displaystyle textstyle { frac {1} {n}} log N> I (P, Lambda) - delta}$ , ${ displaystyle displaystyle max _ {l (s) leq Lambda} { bar {e}} (s) leq exp (-n gamma)}$ , a kde pozitivní ${ displaystyle textstyle n_ {0}}$ a ${ displaystyle textstyle gamma}$ záleží jen na ${ displaystyle textstyle alpha}$ , ${ displaystyle textstyle beta}$ , ${ displaystyle textstyle delta}$ a dané AVC.

Důkaz věty 2: Úplný důkaz naleznete níže v příspěvku „Kapacita revidovaného kanálu libovolně se měnícího kanálu: pozitivita, omezení“.

Kapacita randomizovaných AVC

Další teorém bude pro AVC s náhodně kód. Pro takové AVC kód je náhodná proměnná s hodnotami z rodiny délky-n blokové kódy, a tyto kódy není dovoleno záviset / spoléhat se na skutečnou hodnotu kódové slovo. Tyto kódy mají stejnou maximální a průměrnou hodnotu pravděpodobnosti chyby pro všechny kanál kvůli své náhodné povaze. Tyto typy kódy také pomůže zpřehlednit některé vlastnosti AVC.

Než přejdeme k větě 3, musíme nejdříve definovat několik důležitých pojmů:

${ displaystyle displaystyle W _ { zeta} (y | x) = součet _ {s v S} W (y | x, s) P_ {S_ {r}} (s)}$
${ displaystyle textstyle I (P, zeta)}$ je velmi podobný ${ displaystyle textstyle I (P)}$ výše uvedená rovnice, ${ displaystyle displaystyle I (P, zeta) = min _ {Y_ {r}} já (X_ {r} přistát Y_ {r})}$ , ale teď odpoledne ${ displaystyle textstyle P_ {S_ {r}} (y)}$ je přidáno do rovnice, takže minimum ${ displaystyle textstyle I (P, zeta)}$ založila novou formu ${ displaystyle textstyle P_ {X_ {r} S_ {r} Y_ {r}}}$ , kde ${ displaystyle textstyle W _ { zeta} (y | x)}$ nahrazuje ${ displaystyle textstyle W (y | x, s)}$ .

Věta 3: The kapacita pro náhodně kódy AVC je ${ displaystyle displaystyle c = max_ {P} I (P, zeta)}$ .

Důkaz věty 3: Úplný důkaz naleznete níže v příspěvku „Kapacity určitých tříd kanálů při náhodném kódování“.

Viz také

Reference

Ahlswede, Rudolf a Blinovsky, Vladimir, „Klasická kapacita klasicko-kvantových libovolně se měnících kanálů“ http://ieeexplore.ieee.org.gate.lib.buffalo.edu/stamp/stamp.jsp?tp=&arnumber=4069128
Blackwell, David, Breiman, Leo a Thomasian, A. J., „Kapacity určitých tříd kanálu pod náhodným kódováním“ https://www.jstor.org/stable/2237566
Csiszar, I. a Narayan, P., „Libovolně se měnící kanály s omezenými vstupy a stavy,“ http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=2598&isnumber=154
Csiszar, I. a Narayan, P., „Pravidla kapacity a dekódování pro třídy libovolně se měnících kanálů,“ http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=32153&isnumber=139
Csiszar, I. a Narayan, P., „Byla znovu navštívena kapacita libovolně se měnícího kanálu: pozitivita, omezení“ http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=2627&isnumber=155
Lapidoth, A. a Narayan, P., „Spolehlivá komunikace při nejistotě kanálu“ http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=720535&isnumber=15554