Hadamardův produkt (matice) - Hadamard product (matrices)

Produkt Hadamard pracuje na identicky tvarovaných matricích a vytváří třetí matici stejných rozměrů.

v matematika, Produkt Hadamard (také známý jako elementární, postupně^[1]^[2]^{:ch. 5} nebo Schur^[3] produkt) je binární operace to trvá dva matice stejných rozměrů a vytvoří další matici stejné dimenze jako operandy, kde každý prvek $i, j$ je produktem prvků $i, j$ z původních dvou matic. Je třeba jej odlišit od běžnějších maticový produkt. Přisuzuje se francouzskému matematikovi a je podle něj pojmenováno Jacques Hadamard nebo německý matematik Issai Schur.

Produkt Hadamard je asociativní a distribuční. Na rozdíl od maticového produktu je také komutativní.^[4]

Definice

Pro dvě matice $A$ a $B$ stejné dimenze $m \times n$ , produkt Hadamard ${ displaystyle A cirkus B}$ (nebo ${ displaystyle A odot B}$ ^[1]^[5]^[6]^[7]) je matice stejné dimenze jako operandy, přičemž prvky jsou dány^[4]

{ displaystyle (A circ B) _ {ij} = (A odot B) _ {ij} = (A) _ {ij} (B) _ {ij}.}

Pro matice různých rozměrů ( $m \times n$ a $str \times q$ , kde $m \neq str$ nebo $n \neq q$ ), produkt Hadamard není definován.

Příklad

Například produkt Hadamard pro matici 3 × 3 $A$ s maticí 3 × 3 $B$ je

{ displaystyle { begin {bmatrix} a_ {11} & a_ {12} & a_ {13} a_ {21} & a_ {22} & a_ {23} a_ {31} & a_ {32} & a_ {33} end {bmatrix}} circ { begin {bmatrix} b_ {11} & b_ {12} & b_ {13} b_ {21} & b_ {22} & b_ {23} b_ {31} & b_ {32} & b_ {33} end {bmatrix}} = { begin {bmatrix} a_ {11} , b_ {11} & a_ {12} , b_ {12} & a_ {13} , b_ {13} a_ { 21} , b_ {21} & a_ {22} , b_ {22} & a_ {23} , b_ {23} a_ {31} , b_ {31} & a_ {32} , b_ {32} & a_ {33} , b_ {33} end {bmatrix}}.}

Vlastnosti

Produkt Hadamard je komutativní (při práci s komutativním kruhem), asociativní a distribuční nad sčítáním. To je, pokud A, B, a C jsou matice stejné velikosti a k je skalární:
${ displaystyle { begin {aligned} & mathbf {A} circ mathbf {B} = mathbf {B} circ mathbf {A}, & mathbf {A} circ ( mathbf { B} circ mathbf {C}) = ( mathbf {A} circ mathbf {B}) circ mathbf {C}, & mathbf {A} circ ( mathbf {B} + mathbf {C}) = mathbf {A} circ mathbf {B} + mathbf {A} circ mathbf {C}, & left (k mathbf {A} right) circ mathbf {B} = mathbf {A} circ left (k mathbf {B} right) = k left ( mathbf {A} circ mathbf {B} right), & mathbf {A} circ mathbf {0} = mathbf {0} circ mathbf {A} = mathbf {0}. end {zarovnáno}}}$
Matice identity pod Hadamardovým násobením dvou $m \times n$ matice je $m \times n$ matice, kde jsou všechny prvky rovny 1. To se liší od matice identity v rámci pravidelného násobení matic, kde pouze prvky hlavní úhlopříčky jsou rovny 1. Dále má matice inverzi pod Hadamardovým násobením právě tehdy, když se žádný z prvků nerovná nule.^[8]
Pro vektory $X$ a $y$ a odpovídající diagonální matice $D X$ a $D y$ s těmito vektory jako hlavními úhlopříčkami platí následující identita:^[2]^:479
${ displaystyle mathbf {x} ^ {*} ( mathbf {A} circ mathbf {B}) mathbf {y} = mathrm {tr} left ( mathbf {D} _ { mathbf { x}} ^ {*} mathbf {A} mathbf {D} _ { mathbf {y}} mathbf {B} ^ { mathsf {T}} vpravo),}$
kde $X *$ označuje konjugovat transponovat z $X$ . Zejména pomocí vektorů jedniček to ukazuje, že součet všech prvků v produktu Hadamard je stopa z $AB$ ^T. Související výsledek pro čtverec $A$ a $B$ , je to, že součty řádků jejich produktu Hadamard jsou úhlopříčné prvky $AB$ ^T:^[9]
${ displaystyle { begin {aligned} sum _ {i} (A circ B) _ {ij} & = left (B ^ { mathsf {T}} A right) _ {jj} & = left (AB ^ { mathsf {T}} right) _ {ii}. end {aligned}}}$
Podobně
${ displaystyle left ( mathbf {y} mathbf {x} ^ {*} right) circ mathbf {A} = mathbf {D} _ { mathbf {y}} mathbf {A} mathbf {D} _ { mathbf {x}} ^ {*}}$
Produkt Hadamard je hlavní submatice z Produkt Kronecker.
Produkt Hadamard splňuje hodnostní nerovnost
${ displaystyle operatorname {rank} ( mathbf {A} circ mathbf {B}) leq operatorname {rank} ( mathbf {A}) operatorname {rank} ( mathbf {B})}$
Li $A$ a $B$ jsou pozitivně definitivní matice, pak platí následující nerovnost týkající se produktu Hadamard:^[10]
${ displaystyle prod _ {i = k} ^ {n} lambda _ {i} ( mathbf {A} circ mathbf {B}) geq prod _ {i = k} ^ {n} lambda _ {i} ( mathbf {A} mathbf {B}), quad k = 1, ldots, n,}$
kde $λ i (A)$ je $i$ th největší vlastní číslo z $A$ .
Li $D$ a $E$ jsou diagonální matice, pak^[11]
${ displaystyle { begin {aligned} mathbf {D} ( mathbf {A} circ mathbf {B}) mathbf {E} & = ( mathbf {D} mathbf {A} mathbf {E }) circ mathbf {B} = ( mathbf {D} mathbf {A}) circ ( mathbf {B} mathbf {E}) & = ( mathbf {A} mathbf {E }) circ ( mathbf {D} mathbf {B}) = mathbf {A} circ ( mathbf {D} mathbf {B} mathbf {E}). end {zarovnáno}}}$
Hadamardův produkt dvou vektorů ${ displaystyle mathbf {a}}$ a ${ displaystyle mathbf {b}}$ je stejné jako násobení matice jednoho vektoru odpovídajícím diagonální matice druhého vektoru:
${ displaystyle mathbf {a} circ mathbf {b} = mathbf {D} _ { mathbf {a}} mathbf {b}.}$

Vlastnost smíšeného produktu

{ displaystyle (A otimes B) circ (C otimes D) = (A circ C) otimes (B circ D)}

, kde

{ displaystyle otimes}

je Produkt Kronecker

{ displaystyle (A kulka B) cirkus (C kulka D) = (A k C C) kulka (B kružnice D)}

, kde

{ displaystyle bullet}

označuje Produkt rozdělující obličej.^[12]

{ displaystyle (A kulka B) (C ast D) = (AC) circ (BD)}

, kde

{ displaystyle ast}

je sloupcový Produkt Khatri – Rao.

Schurova věta o produktu

Produkt Hadamard ze dvou kladně semidefinitní matice je kladně semidefinitní.^[4]^[9] Toto je známé jako Schurova věta o produktu,^[8] po ruském matematikovi Issai Schur. Pro dvě kladně semidefinitní matice $A$ a $B$ , je také známo, že určující jejich produktu Hadamard je větší nebo roven produktu jejich příslušných determinantů:^[9]

{ displaystyle det ( mathbf {A} circ mathbf {B}) geq det ( mathbf {A}) det ( mathbf {B}).}

V programovacích jazycích

Hadamardovo násobení je zabudováno do jisté programovací jazyky pod různými jmény. v MATLAB, GNU oktáva, GAUSS a HP Prime, je znám jako násobení pole, nebo v Julie multiplikace vysílání, se symbolem .*.^[13] v Fortran, R,^[14] APL, J a Wolfram jazyk (Mathematica ), provádí se pomocí jednoduchého operátoru násobení *, zatímco maticový produkt se provádí pomocí funkce matmul, %*%, +.×, +/ .* a . operátoři, resp. v Krajta s NumPy číselná knihovna nebo SymPy symbolická knihovna, násobení pole objekty jako a1 * a2 vyrábí produkt Hadamard, ale jinak násobení jako a1 @ a2 nebo matice předměty m1 * m2 vytvoří produkt matice. The Vlastní Knihovna C ++ poskytuje a cwiseProduct členské funkce pro Matice třída (a.cwiseProduct (b)), zatímco Pásovec knihovna používá operátor % vytvářet kompaktní výrazy (a% b; a * b je maticový produkt).

Aplikace

Produkt Hadamard se objeví v ztrátová komprese algoritmy jako např JPEG. Krok dekódování zahrnuje produkt vstup za vstupem, jinými slovy produkt Hadamard.^{[Citace je zapotřebí ]}

Používá se také v strojové učení literatury, například k popisu architektury rekurentních neuronových sítí jako GRU nebo LSTM.^{[Citace je zapotřebí ]}

Analogické operace

Další operace Hadamard jsou také vidět v matematické literatuře,^[15] jmenovitě Hadamardův kořen a Hadamardova síla (které jsou ve skutečnosti totéž kvůli zlomkovým indexům), definované pro matici tak, že:

Pro

{ displaystyle { begin {zarovnáno} mathbf {B} & = mathbf {A} ^ { circ 2} B_ {ij} & = {A_ {ij}} ^ {2} end {zarovnáno} }}

a pro

{ displaystyle { begin {aligned} mathbf {B} & = mathbf {A} ^ { circ { frac {1} {2}}} B_ {ij} & = {A_ {ij}} ^ { frac {1} {2}} end {zarovnáno}}}

The Hadamard inverzní zní:^[15]

{ displaystyle { begin {zarovnáno} mathbf {B} & = mathbf {A} ^ { circ -1} B_ {ij} & = {A_ {ij}} ^ {- 1} end { zarovnaný}}}

A Hadamardova divize je definován jako:^[16]^[17]

{ displaystyle { begin {aligned} mathbf {C} & = mathbf {A} oslash mathbf {B} C_ {ij} & = { frac {A_ {ij}} {B_ {ij} }} end {zarovnáno}}}

Penetrační produkt na obličej

Penetrační produkt tváře matric

Podle definice V. Slyusar produkt pronikající tváře matice pxg ${ displaystyle mathbf {A}}$ a n-rozměrná matice ${ displaystyle mathbf {B}}$ (n> 1), který je rozložen v bloku řádků nebo bloku sloupců s bloky pxg ( ${ displaystyle mathbf {B} = [B_ {n}]}$ ) je matice velikosti ${ displaystyle mathbf {B}}$ formuláře:^[18]

{ displaystyle mathbf {A} [ circ] mathbf {B} = left [{ begin {pole} {c | c | c} mathbf {A} circ mathbf {B} _ {1} & mathbf {A} circ mathbf {B} _ {2} & mathbf {A} circ mathbf {B} _ { 3} end {pole}} vpravo]}

.

Příklad

Li

{ displaystyle mathbf {A} = left [{ begin {array} {c} 1 & 2 & 3 4 & 5 & 6 7 & 8 & 9 end {array}} right], quad mathbf {B} = left [{ begin {pole} {c | c | c} mathbf {B} _ {1} & mathbf {B} _ {2} & mathbf {B} _ {3} end {array}} right] = left [{ begin {array} {ccc | c c c | c c c} 1 & 4 & 7 & 2 & 8 & 14 & 3 & 12 & 21 8 & 20 & 5 & 10 & 25 & 40 & 12 & 30 & 6 2 & 8 & 3 & 2 & 4 & 2 & 7 & 3 & 9 end {array}} right]}

pak

{ displaystyle mathbf {A} [ circ] mathbf {B} = left [{ begin {pole} {c c c | c c c | c c c} 1 & 8 & 21 & 2 & 16 & 42 & 3 & 24 & 63 32 & 100 & 30 & 40 & 125 & 240 & 48 & 150 & 36 14 & 64 & 27 & 14 & 32 & 18 & 49 & 24 & 81 end {pole}} vpravo]}

.

Hlavní vlastnosti

{ displaystyle mathbf {A} [ circ] mathbf {B} = mathbf {B} [ circ] mathbf {A}}

;^[18]

{ displaystyle mathbf {M} bullet mathbf {M} = mathbf {M} [ circ] ( mathbf {M} otimes mathbf {1} ^ { textyf {T}})}

,

kde ${ displaystyle bullet}$ označuje Produkt rozdělující obličej matic,

{ displaystyle mathbf {c} bullet mathbf {M} = mathbf {c} [ circ] mathbf {M}}

, kde

{ displaystyle mathbf {c}}

je vektor.

Aplikace

Penetrační produkt na obličej se používá v tenzor -maticová teorie digitální anténní pole.^[18] Tuto operaci lze také použít v umělá neuronová síť modely, konkrétně konvoluční vrstvy.^{[Citace je zapotřebí ]}

Viz také

Reference

^ ^A ^b „Úplný seznam symbolů algebry“. Matematický trezor. 2020-03-25. Citováno 2020-09-06.
^ ^A ^b Horn, Roger A .; Johnson, Charles R. (2012). Maticová analýza. Cambridge University Press.
^ Davis, Chandler (1962). "Norma provozu produktu Schur". Numerische Mathematik. 4 (1): 343–44. doi:10.1007 / bf01386329.
^ ^A ^b ^C Million, Elizabeth (12. dubna 2007). „Produkt Hadamard“ (PDF). buzzard.ups.edu. Citováno 6. září 2020.
^ „Hadamard product - Machine Learning Glossary“. strojové učení.wtf.
^ „lineární algebra - Co znamená tečka v kruhu?“. Matematická výměna zásobníků.
^ "Elementární (nebo bodová) notace operací?". Matematická výměna zásobníků.
^ ^A ^b Milion, Elizabeth. „Produkt Hadamard“ (PDF). Citováno 2. ledna 2012.
^ ^A ^b ^C Styan, George P. H. (1973), „Hadamardovy produkty a vícerozměrná statistická analýza“, Lineární algebra a její aplikace, 6: 217–240, doi:10.1016/0024-3795(73)90023-2, hdl:10338.dmlcz / 102190
^ Hiai, Fumio; Lin, Minghua (únor 2017). "Na nerovnost vlastního čísla zahrnující produkt Hadamard". Lineární algebra a její aplikace. 515: 313–320. doi:10.1016 / j.laa.2016.11.017.
^ "Projekt" (PDF). buzzard.ups.edu. 2007. Citováno 2019-12-18.
^ Slyusar, V. I. (27. prosince 1996). „Konečné produkty v maticích v radarových aplikacích“ (PDF). Radioelektronika a komunikační systémy. - 1998, roč. 41; Číslo 3: 50–53.
^ "Aritmetické operátory + - * / ^ '-". Dokumentace MATLABu. MathWorks. Archivovány od originál dne 24. dubna 2012. Citováno 2. ledna 2012.
^ "Maticové násobení". Úvod do R.. Projekt R pro statistické výpočty. 16. května 2013. Citováno 24. srpna 2013.
^ ^A ^b Reams, Robert (1999). "Hadamardské inverze, odmocniny a produkty téměř semidefinitních matic". Lineární algebra a její aplikace. 288: 35–43. doi:10.1016 / S0024-3795 (98) 10162-3.
^ Wetzstein, Gordon; Lanman, Douglas; Hirsch, Matthew; Raskar, Ramesh. „Doplňkový materiál: Tenzorové displeje: Syntéza tlakového světelného pole pomocí vícevrstvých displejů se směrovým podsvícením“ (PDF). MIT Media Lab.
^ Cyganek, Boguslaw (2013). Detekce a rozpoznávání objektů v digitálních obrazech: teorie a praxe. John Wiley & Sons. p. 109. ISBN 9781118618363.
^ ^A ^b ^C Slyusar, V. I. (13. března 1998). "Rodina produktů tváře matic a její vlastnosti" (PDF). Kybernetika a systémová analýza C / C Kibernetiky I Sistemnyi Analiz. 1999. 35 (3): 379–384. doi:10.1007 / BF02733426.

[:0-1] A ^b „Úplný seznam symbolů algebry“. Matematický trezor. 2020-03-25. Citováno 2020-09-06.

[HornJohnson-2] A ^b Horn, Roger A .; Johnson, Charles R. (2012). Maticová analýza. Cambridge University Press.

[3] Davis, Chandler (1962). "Norma provozu produktu Schur". Numerische Mathematik. 4 (1): 343–44. doi:10.1007 / bf01386329.

[:1-4] A ^b ^C Million, Elizabeth (12. dubna 2007). „Produkt Hadamard“ (PDF). buzzard.ups.edu. Citováno 6. září 2020.

[5] „Hadamard product - Machine Learning Glossary“. strojové učení.wtf.

[6] „lineární algebra - Co znamená tečka v kruhu?“. Matematická výměna zásobníků.

[7] "Elementární (nebo bodová) notace operací?". Matematická výměna zásobníků.

[hadamardpdf1-8] A ^b Milion, Elizabeth. „Produkt Hadamard“ (PDF). Citováno 2. ledna 2012.

[styan1973-9] A ^b ^C Styan, George P. H. (1973), „Hadamardovy produkty a vícerozměrná statistická analýza“, Lineární algebra a její aplikace, 6: 217–240, doi:10.1016/0024-3795(73)90023-2, hdl:10338.dmlcz / 102190

[10] Hiai, Fumio; Lin, Minghua (únor 2017). "Na nerovnost vlastního čísla zahrnující produkt Hadamard". Lineární algebra a její aplikace. 515: 313–320. doi:10.1016 / j.laa.2016.11.017.

[11] "Projekt" (PDF). buzzard.ups.edu. 2007. Citováno 2019-12-18.

[slyusar-12] Slyusar, V. I. (27. prosince 1996). „Konečné produkty v maticích v radarových aplikacích“ (PDF). Radioelektronika a komunikační systémy. - 1998, roč. 41; Číslo 3: 50–53.

[MathWorks_matlab_1-13] "Aritmetické operátory + - * / ^ '-". Dokumentace MATLABu. MathWorks. Archivovány od originál dne 24. dubna 2012. Citováno 2. ledna 2012.

[14] "Maticové násobení". Úvod do R.. Projekt R pro statistické výpočty. 16. května 2013. Citováno 24. srpna 2013.

[Reams-15] A ^b Reams, Robert (1999). "Hadamardské inverze, odmocniny a produkty téměř semidefinitních matic". Lineární algebra a její aplikace. 288: 35–43. doi:10.1016 / S0024-3795 (98) 10162-3.

[16] Wetzstein, Gordon; Lanman, Douglas; Hirsch, Matthew; Raskar, Ramesh. „Doplňkový materiál: Tenzorové displeje: Syntéza tlakového světelného pole pomocí vícevrstvých displejů se směrovým podsvícením“ (PDF). MIT Media Lab.

[17] Cyganek, Boguslaw (2013). Detekce a rozpoznávání objektů v digitálních obrazech: teorie a praxe. John Wiley & Sons. p. 109. ISBN 9781118618363.

[slyusar2-18] A ^b ^C Slyusar, V. I. (13. března 1998). "Rodina produktů tváře matic a její vlastnosti" (PDF). Kybernetika a systémová analýza C / C Kibernetiky I Sistemnyi Analiz. 1999. 35 (3): 379–384. doi:10.1007 / BF02733426.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

Lineární algebra
Základní pojmy	Skalární Vektor Vektorový prostor Skalární násobení Vektorové projekce Lineární rozpětí Lineární mapa Lineární projekce Lineární nezávislost Lineární kombinace Základ Změna základu Vektory řádků a sloupců Mezery mezi řádky a sloupci Jádro Vlastní čísla a vlastní vektory Přemístit Lineární rovnice
Matice	Blok Rozklad Invertibilní Méně důležitý Násobení Hodnost Proměna Cramerovo pravidlo Gaussova eliminace
Bilineární	Ortogonalita Tečkovaný produkt Vnitřní prostor produktu Vnější produkt Gram – Schmidtův proces
Multilineární algebra	Rozhodující Křížový produkt Trojitý produkt Sedmrozměrný křížový produkt Geometrická algebra Vnější algebra Bivektor Multivektorový Tenzor Outermorfismus
Vektorový prostor stavby	Dvojí Přímý součet Funkční prostor Kvocient Podprostor Tenzorový produkt
Numerické	Plovoucí bod Numerická stabilita Základní podprogramy lineární algebry (BLAS) Řídká matice Porovnání knihoven lineární algebry
Kategorie Obrys Matematický portál Wikibook Wikiverzita