Hartleyova funkce - Hartley function

The Hartleyova funkce je měřítkem nejistota, představil Ralph Hartley v roce 1928. Pokud vzorek z konečné množiny A rovnoměrně náhodně je vybrána, informace odhalená poté, co je znám výsledek, je dána funkcí Hartley

${displaystyle H_ {0} (A): = mathrm {log} _ {b} vert Avert,}$

kde |A| označuje mohutnost z A.

Pokud základna z logaritmus je 2, pak jednotka nejistoty je Shannon (více obyčejně známý jako bit ). Pokud je to přirozený logaritmus, pak jednotka je nat. Hartley použil a logaritmus základní desítky as touto základnou se jednotka informací nazývá Hartley (aka zákaz nebo dit ) na jeho počest. Je také známá jako Hartleyova entropie.

Hartleyova funkce, Shannonova entropie a Rényiho entropie

Funkce Hartley se shoduje s Shannonova entropie (stejně jako Rényiho entropie všech objednávek) v případě rovnoměrného rozdělení pravděpodobnosti. Jedná se o speciální případ Rényiho entropie od té doby:

${displaystyle H_ {0} (X) = {frac {1} {1-0}} log součet _ {i = 1} ^ {| X |} p_ {i} ^ {0} = log | X |.}$

Lze jej však také považovat za primitivní konstrukci, protože, jak zdůraznili Kolmogorov a Rényi, lze Hartleyovu funkci definovat bez zavedení jakýchkoli pojmů pravděpodobnosti (viz Nejistota a informace George J. Klir, str. 423).

Charakterizace Hartleyovy funkce

Hartleyova funkce závisí pouze na počtu prvků v sadě, a lze ji tedy zobrazit jako funkci na přirozených číslech. Rényi ukázal, že Hartleyova funkce v základně 2 je jediná funkce mapující přirozená čísla na reálná čísla, která splňuje

1. ${displaystyle H (mn) = H (m) + H (n)}$ (aditivita)
2. ${displaystyle H (m) leq H (m + 1)}$ (monotónnost)
3. ${displaystyle H (2) = 1}$ (normalizace)

Podmínka 1 říká, že nejistota kartézského součinu dvou konečných množin A a B je součtem nejistot A a B. Podmínka 2 říká, že větší sada má větší nejistotu.

Odvození Hartleyovy funkce

Chceme ukázat, že funkce Hartley, log₂(n), je jediná funkce mapující přirozená čísla na reálná, která vyhovuje

1. ${displaystyle H (mn) = H (m) + H (n),}$ (aditivita)
2. ${displaystyle H (m) leq H (m + 1),}$ (monotónnost)
3. ${displaystyle H (2) = 1,}$ (normalizace)

Nechat ƒ být funkcí na kladných celých číslech, která splňuje výše uvedené tři vlastnosti. Z aditivní vlastnosti můžeme ukázat, že pro jakékoli celé číslo n a k,

${displaystyle f (n ^ {k}) = kf (n).,}$

Nechat A, b, a t být kladná celá čísla. Existuje jedinečné celé číslo s určeno

${displaystyle a ^ {s} leq b ^ {t} leq a ^ {s + 1} .qquad (1)}$

Proto,

${displaystyle slog _ {2} aleq tlog _ {2} bleq (s + 1) log _ {2} a,}$

a

${displaystyle {frac {s} {t}} leq {frac {log _ {2} b} {log _ {2} a}} leq {frac {s + 1} {t}}.}$

Na druhé straně monotónností

${displaystyle f (a ^ {s}) leq f (b ^ {t}) leq f (a ^ {s + 1}).,}$

Pomocí rovnice (1) získáme jeden

${displaystyle sf (a) leq tf (b) leq (s + 1) f (a) ,,}$

a

${displaystyle {frac {s} {t}} leq {frac {f (b)} {f (a)}} leq {frac {s + 1} {t}}.}$

Proto,

${displaystyle leftvert {frac {f (b)} {f (a)}} - {frac {log _ {2} (b)} {log _ {2} (a)}} ightvert leq {frac {1} { t}}.}$

Od té doby t může být libovolně velký, rozdíl na levé straně výše uvedené nerovnosti musí být nulový,

${displaystyle {frac {f (b)} {f (a)}} = {frac {log _ {2} (b)} {log _ {2} (a)}}.}$

Tak,

${displaystyle f (a) = mu log _ {2} (a),}$

pro nějakou konstantu μ, které se musí normalizační vlastností rovnat 1.

Viz také

• Rényiho entropie
• Min. Entropie

Reference

• Tento článek obsahuje materiál z Hartleyovy funkce PlanetMath, který je licencován pod Creative Commons Attribution / Share-Alike License.
• Tento článek včlení materiál od Derivation of Hartley function on PlanetMath, který je licencován pod Creative Commons Attribution / Share-Alike License.