Hladké maximum - Smooth maximum

v matematika, a hladké maximum z indexovaná rodina X₁, ..., X_n čísel je a plynulá aproximace do maximum funkce ${ displaystyle max (x_ {1}, ldots, x_ {n}),}$ význam a parametrická rodina funkcí ${ displaystyle m _ { alpha} (x_ {1}, ldots, x_ {n})}$ tak, že pro každého $α$ , funkce ${ displaystyle m _ { alpha}}$ je plynulý a rodina konverguje k maximální funkci ${ displaystyle m _ { alpha} to max}$ tak jako ${ displaystyle alpha to infty}$ . Koncept hladké minimum je definována podobně. V mnoha případech se jedna rodina přibližuje oběma: maximum jako parametr jde do kladného nekonečna, minimum jako parametr jde do záporného nekonečna; v symbolech, ${ displaystyle m _ { alpha} to max}$ tak jako ${ displaystyle alpha to infty}$ a ${ displaystyle m _ { alpha} na min}$ tak jako ${ displaystyle alpha to - infty}$ . Termín lze také volně použít pro konkrétní hladkou funkci, která se chová podobně jako maximum, aniž by nutně byla součástí parametrizované rodiny.

Příklady

Smoothmax aplikovaný na funkci '-x' a x s různými koeficienty. Velmi hladké pro

{ displaystyle alpha}

= 0,5 a ostřejší pro

{ displaystyle alpha}

=8.

Pro velké kladné hodnoty parametru ${ displaystyle alpha> 0}$ , následující formulace je hladká, rozlišitelný aproximace maximální funkce. U záporných hodnot parametru, které jsou velké v absolutní hodnotě, se blíží minimu.

{ displaystyle { mathcal {S}} _ { alpha} (x_ {1}, ldots, x_ {n}) = { frac { sum _ {i = 1} ^ {n} x_ {i} e ^ { alpha x_ {i}}} { sum _ {i = 1} ^ {n} e ^ { alpha x_ {i}}}}}

${ displaystyle { mathcal {S}} _ { alpha}}$ má následující vlastnosti:

${ displaystyle { mathcal {S}} _ { alpha} na max}$ tak jako ${ displaystyle alpha to infty}$
${ displaystyle { mathcal {S}} _ {0}}$ je aritmetický průměr jeho vstupů
${ displaystyle { mathcal {S}} _ { alpha} na min}$ tak jako ${ displaystyle alpha to - infty}$

Přechod z ${ displaystyle { mathcal {S}} _ { alpha}}$ úzce souvisí s softmax a je dán

{ displaystyle nabla _ {x_ {i}} { mathcal {S}} _ { alpha} (x_ {1}, ldots, x_ {n}) = { frac {e ^ { alpha x_ { i}}} { sum _ {j = 1} ^ {n} e ^ { alpha x_ {j}}}} [1+ alpha (x_ {i} - { mathcal {S}} _ { alpha} (x_ {1}, ldots, x_ {n}))].}

Díky tomu je funkce softmax užitečná pro optimalizační techniky, které používají klesání.

LogSumExp

Další hladké maximum je LogSumExp:

{ displaystyle mathrm {LSE} _ { alpha} (x_ {1}, ldots, x_ {n}) = 1 / alpha log ( exp ( alpha x_ {1}) + ldots + exp ( alpha x_ {n}))}

To lze také normalizovat, pokud ${ displaystyle x_ {i}}$ jsou všechny nezáporné a poskytují funkci s doménou ${ displaystyle [0, infty) ^ {n}}$ a rozsah ${ displaystyle [0, infty)}$ :

{ displaystyle g (x_ {1}, ldots, x_ {n}) = log ( exp (x_ {1}) + ldots + exp (x_ {n}) - (n-1))}

The ${ displaystyle (n-1)}$ termín opravuje skutečnost, že ${ displaystyle exp (0) = 1}$ zrušením všech kromě jedné nulové exponenciály a ${ displaystyle log 1 = 0}$ padám ${ displaystyle x_ {i}}$ jsou nula.

p-Norm

Další hladké maximum je p-norma:

{ displaystyle || (x_ {1}, ldots, x_ {n}) || _ {p} = left (| x_ {1} | ^ {p} + cdots + | x_ {n} | ^ {p} right) ^ {1 / p}}

který konverguje k ${ displaystyle || (x_ {1}, ldots, x_ {n}) || _ { infty} = max _ {1 leq i leq n} | x_ {i} |}$ tak jako ${ displaystyle p to infty}$ .

Výhodou p-normy je, že je a norma. Jako takový je to „scale invariant“ (homogenní): ${ displaystyle || ( lambda x_ {1}, ldots, lambda x_ {n}) || _ {p} = | lambda | times || (x_ {1}, ldots, x_ {n }) || _ {p}}$ , a uspokojuje trojúhelníkovou nerovnost.

Použití v numerických metodách

Další možnosti vyhlazovací funkce

{ displaystyle { mathcal {max}} _ { alpha} (x_ {1}, x_ {2}) = left ((x_ {1} + x_ {2}) + { sqrt {(x_ {1 } -x_ {2}) ^ {2} + alpha}} vpravo) / 2}

Kde ${ displaystyle alpha}$ je parametr.

Viz také

Reference

M. Lange, D. Zühlke, O. Holz a T. Villmann, „Aplikace lp-norem a jejich plynulé aproximace pro kvantifikaci vektoru učení založeného na gradientu,“ v Proc. ESANN, Duben 2014, s. 271-276. (https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2014-153.pdf )