Tenzorová skica - Tensor sketch

v statistika, strojové učení a algoritmy, a tenzorová skica je typ snížení rozměrů to je zvláště efektivní, když se použije vektory které mají tenzor struktura.^[1][2] Takový náčrt lze použít k urychlení explicitního metody jádra, bilineární sdružování v neuronové sítě a je základním kamenem mnoha numerických algoritmů lineární algebry.^[3]

Matematická definice

Matematicky je redukce rozměrů maticí ${ displaystyle M in mathbb {R} ^ {k, d}}$, kde ${ displaystyle k$, tak, že pro jakýkoli vektor ${ displaystyle x in mathbb {R} ^ {d}}$ to platí

${ displaystyle | | Mx | _ {2} - | x | _ {2} | < varepsilon | x | _ {2}}$

s vysokou pravděpodobností. Jinými slovy ${ displaystyle M}$ zachovává normu vektorů až do malé chyby.

Skica Tensor má další vlastnost, že pokud ${ displaystyle x = y otimes z}$ pro některé vektory ${ displaystyle y in mathbb {R} ^ {d_ {1}}, z in mathbb {R} ^ {d_ {2}}}$ takhle ${ displaystyle d_ {1} d_ {2} = d}$, transformace ${ displaystyle M (y otimes z)}$ lze počítat zvlášť efektivně.

Typicky ${ displaystyle M (y otimes z) = M'y circ M''z}$, kde ${ displaystyle circ}$ je (Hadamard ) elementární produkt. Protože každý z ${ displaystyle M'y}$ a ${ displaystyle M''z}$ lze vypočítat v čase, resp ${ displaystyle kd_ {1}}$ a ${ displaystyle kd_ {2}}$, výpočet je mnohem rychlejší než celý ${ displaystyle M (y otimes z)}$ což by zabralo čas ${ displaystyle kd = kd_ {1} d_ {2}}$.

Pro tenzory vyššího řádu, jako např ${ displaystyle x = y otimes z otimes t}$ úspory jsou ještě působivější.

Dějiny

Termín tenzorový náčrt byl vytvořen v roce 2013^[4] popisující techniku ​​pomocí Rasmus Pagh^[5] ze stejného roku. Původně to bylo chápáno pomocí rychlá Fourierova transformace dělat rychle konvoluce z počítat náčrtky Pozdější výzkumné práce jej zobecnily na mnohem větší třídu redukce rozměrů pomocí náhodných vložení Tensor.

Tensor random embeddings byly představeny v roce 2010 v příspěvku^[6] o rozdílovém soukromí a byly nejprve analyzovány Rudelsonem a kol. v roce 2012 v kontextu řídkého zotavení.^[7]

Avron a kol.^[8]byli první, kdo studovali vkládání podprostoru vlastnosti tenzorových skic, zvláště zaměřené na aplikace do polynomiální jádra V této souvislosti je náčrt vyžadován nejen k zachování normy každého jednotlivého vektoru s určitou pravděpodobností, ale také k zachování normy všech vektorů v každém jednotlivci. lineární podprostor.Jedná se o mnohem silnější vlastnost a vyžaduje větší velikosti skic, ale umožňuje použití metod jádra velmi široce, jak je prozkoumáno v knize Davida Woodruffa.^[3]

Tenzorové náhodné projekce

The produkt rozdělující obličej je definován jako tenzorové produkty řádků (navrhl V. Slyusar^[9] v roce 1996^{[10][11][12][13][14]} pro radar a digitální anténní pole přímo), nechte ${ displaystyle mathbf {C} in mathbb {R} ^ {3 krát 3}}$ a ${ displaystyle mathbf {D} v mathbb {R} ^ {3 krát 3}}$ být dvě matice produkt rozdělující obličej ${ displaystyle mathbf {C} kulka mathbf {D}}$ je^{[10][11][12][13]}${ displaystyle mathbf {C} bullet mathbf {D} = left [{ begin {array} {c} mathbf {C} _ {1} otimes mathbf {D} _ {1} hline mathbf {C} _ {2} otimes mathbf {D} _ {2} hline mathbf {C} _ {3} otimes mathbf {D} _ {3} konec {array}} right] = left [{ begin {array} {ccccccccc} mathbf {C} _ {1,1} mathbf {D} _ {1,1} & mathbf {C} _ { 1,1} mathbf {D} _ {1,2} & mathbf {C} _ {1,1} mathbf {D} _ {1,3} & mathbf {C} _ {1,2} mathbf {D} _ {1,1} & mathbf {C} _ {1,2} mathbf {D} _ {1,2} & mathbf {C} _ {1,2} mathbf {D } _ {1,3} & mathbf {C} _ {1,3} mathbf {D} _ {1,1} & mathbf {C} _ {1,3} mathbf {D} _ {1 , 2} & mathbf {C} _ {1,3} mathbf {D} _ {1,3} hline mathbf {C} _ {2,1} mathbf {D} _ {2, 1} & mathbf {C} _ {2,1} mathbf {D} _ {2,2} & mathbf {C} _ {2,1} mathbf {D} _ {2,3} & mathbf {C} _ {2,2} mathbf {D} _ {2,1} & mathbf {C} _ {2,2} mathbf {D} _ {2,2} & mathbf {C} _ {2,2} mathbf {D} _ {2,3} & mathbf {C} _ {2,3} mathbf {D} _ {2,1} & mathbf {C} _ {2, 3} mathbf {D} _ {2,2} & mathbf {C} _ {2,3} mathbf {D} _ {2,3} hline mathbf {C} _ {3,1 } mathbf {D} _ {3,1} & mathbf {C} _ {3,1} mathbf {D} _ {3,2} & mathbf {C} _ {3,1} mathbf {D} _ {3,3} & mathbf {C} _ {3,2} mathbf {D} _ {3,1} & mathbf {C} _ {3,2} mathbf {D} _ {3,2} & mathbf {C} _ {3, 2} mathbf {D} _ {3,3} & mathbf {C} _ {3,3} mathbf {D} _ {3,1} & mathbf {C} _ {3,3} mathbf {D} _ {3,2} & mathbf {C} _ {3,3} mathbf {D} _ {3,3} end {array}} right].}$Důvodem, proč je tento produkt užitečný, je následující identita:

${ displaystyle ( mathbf {C} bullet mathbf {D}) (x ot y y) = mathbf {C} x circ mathbf {D} y = left [{ begin {pole} {c } ( mathbf {C} x) _ {1} ( mathbf {D} y) _ {1} ( mathbf {C} x) _ {2} ( mathbf {D} y) _ {2 } vdots end {pole}} vpravo],}$

kde ${ displaystyle circ}$ je elementární (Hadamard ). Protože tuto operaci lze vypočítat v lineárním čase, ${ displaystyle mathbf {C} kulka mathbf {D}}$ lze násobit na vektorech s tenzorovou strukturou mnohem rychleji než normální matice.

Konstrukce s rychlou Fourierovou transformací

Tenzorový náčrt Pham a Pagh^[4] počítá${ displaystyle C ^ {(1)} x ast C ^ {(2)} y}$, kde ${ displaystyle C ^ {(1)}}$ a ${ displaystyle C ^ {(2)}}$ jsou nezávislé počítat skicu matice a ${ displaystyle ast}$ je vektor konvoluce Ukazují, že se to úžasně rovná ${ displaystyle C (x mnohokrát y)}$ - početní náčrt produktu tensor!

Ukazuje se, že tento vztah lze vidět z hlediska produkt rozdělující obličej tak jako

${ displaystyle C ^ {(1)} x ast C ^ {(2)} y = { mathcal {F}} ^ {- 1} ({ mathcal {F}} C ^ {(1)} x circ { mathcal {F}} C ^ {(2)} y)}$, kde ${ displaystyle { mathcal {F}}}$ je Fourierova transformační matice.

Od té doby ${ displaystyle { mathcal {F}}}$ je ortonormální matice, ${ displaystyle { mathcal {F}} ^ {- 1}}$ nemá vliv na normu ${ displaystyle Cx}$ a může být ignorován. Zbývá jen to ${ displaystyle C sim { mathcal {C}} ^ {(1)} odrážka { mathcal {C}} ^ {(2)}}$.

Na druhou stranu,

${ displaystyle { mathcal {F}} (C ^ {(1)} x ast C ^ {(2)} y) = { mathcal {F}} C ^ {(1)} x circ { mathcal {F}} C ^ {(2)} y = ({ mathcal {F}} C ^ {(1)} bullet { mathcal {F}} C ^ {(2)}) (x otimes y)}$.

Aplikace na obecné matice

Problém s původním algoritmem tenzorového náčrtu spočíval v tom, že použil počítat skicu matice, které nejsou vždy velmi dobré redukce rozměrů.

V roce 2020^[15] ukázalo se, že k vytvoření tenzorového náčrtu stačí libovolná matice s dostatečně náhodnými nezávislými řádky. To umožňuje použití matic se silnějšími zárukami, jako je skutečná Gaussian Johnson Lindenstrauss matice.

Dostaneme zejména následující větu

Zvažte matici ${ displaystyle T}$ s i.i.d. řádky ${ displaystyle T_ {1}, tečky, T_ {m} in mathbb {R} ^ {d}}$, takový, že ${ displaystyle E [(T_ {1} x) ^ {2}] = | x | _ {2} ^ {2}}$ a ${ displaystyle E [(T_ {1} x) ^ {p}] ^ {1 / p} leq { sqrt {ap}} | x | _ {2}}$. Nechat ${ displaystyle T ^ {(1)}, tečky, T ^ {(c)}}$ být nezávislý skládající se z ${ displaystyle T}$ a ${ displaystyle M = T ^ {(1)} odrážka tečky odrážka T ^ {(c)}}$.

Pak ${ displaystyle | | Mx | _ {2} - | x | _ {2} | < varepsilon | x | _ {2}}$ s pravděpodobností ${ displaystyle 1- delta}$ pro libovolný vektor ${ displaystyle x}$ -li

${ displaystyle m = (4a) ^ {2c} varepsilon ^ {- 2} log 1 / delta + (2ae) varepsilon ^ {- 1} ( log 1 / delta) ^ {c}}$.

Zejména pokud jsou záznamy z ${ displaystyle T}$ jsou ${ displaystyle pm 1}$ dostaneme ${ displaystyle m = O ( varepsilon ^ {- 2} log 1 / delta + varepsilon ^ {- 1} ({ tfrac {1} {c}} log 1 / delta) ^ {c} )}$ který odpovídá normálu Johnson Lindenstrauss věta o ${ displaystyle m = O ( varepsilon ^ {- 2} log 1 / delta)}$ když ${ displaystyle varepsilon}$ je malý.

Papír^[15] také ukazuje, že závislost na ${ displaystyle varepsilon ^ {- 1} ({ tfrac {1} {c}} log 1 / delta) ^ {c}}$ je nezbytné pro konstrukce využívající tenzorové randomizované projekce s Gaussian záznamů.

Variace

Rekurzivní konstrukce

Z důvodu exponenciální závislosti na ${ displaystyle c}$ v tenzorových skečích založených na produkt rozdělující obličej, byl v roce 2020 vyvinut odlišný přístup^[15] který platí

${ displaystyle M (x otimes y otimes cdots) = M ^ {(1)} (x otimes (M ^ {(2)} y otimes cdots))}$

Můžeme dosáhnout takového ${ displaystyle M}$ necháním

${ displaystyle M = M ^ {(c)} (M ^ {(c-1)} otimes I_ {d}) (M ^ {(c-2)} otimes I_ {d ^ {2}}) cdots (M ^ {(1)} mnohokrát I_ {d ^ {c-1}})}$.

U této metody použijeme pouze obecnou metodu tenzorového náčrtu na objednávku 2 tenzorů, čímž se vyhneme exponenciální závislosti počtu řádků.

To se dá dokázat^[15] to kombinování ${ displaystyle c}$ takto dimenzionální snížení se pouze zvyšuje ${ displaystyle varepsilon}$ faktorem ${ displaystyle { sqrt {c}}}$.

Rychlé stavby

The rychlá Johnson – Lindenstraussova transformace je matice redukce rozměrů

Vzhledem k tomu, matice ${ displaystyle M in mathbb {R} ^ {k krát d}}$, výpočet vektorového produktu matice ${ displaystyle Mx}$ bere ${ displaystyle kd}$ čas Rychlá Johnson Lindenstrauss Transformace (FJLT),^[16] byl představen Ailon a Chazelle v roce 2006.

Verze této metody trvá${ displaystyle M = operatorname {SHD}}$kde

1. ${ displaystyle D}$ je diagonální matice kde každý diagonální vstup ${ displaystyle D_ {i, i}}$ je ${ displaystyle pm 1}$ nezávisle.

Násobení matice-vektor ${ displaystyle Dx}$ lze vypočítat v ${ displaystyle O (d)}$ čas.

1. ${ displaystyle H}$ je Hadamardova matice, což umožňuje násobení matice-vektor v čase ${ displaystyle O (d log d)}$
2. ${ displaystyle S}$ je ${ displaystyle k times d}$ vzorkovací matice což jsou všechny nuly, kromě jediné 1 v každém řádku.

Pokud je diagonální matice nahrazena maticí, která má tenzorový součin o ${ displaystyle pm 1}$ hodnoty na úhlopříčce, místo toho, aby byly zcela nezávislé, je možné vypočítat ${ displaystyle operatorname {SHD} (x mnohokrát y)}$ rychle.

Pro příklad, pojďme ${ displaystyle rho, sigma in {- 1,1 } ^ {2}}$ být dva nezávislí ${ displaystyle pm 1}$ vektory a nechat ${ displaystyle D}$ být diagonální matice s ${ displaystyle rho otimes sigma}$ na úhlopříčce. Poté se můžeme rozdělit ${ displaystyle operatorname {SHD} (x mnohokrát y)}$ jak následuje:

${ displaystyle { begin {aligned} & operatorname {SHD} (x otimes y) & quad = { begin {bmatrix} 1 & 0 & 0 & 0 0 & 0 & 1 & 0 0 & 1 & 0 & 0 end {bmatrix}} { begin { bmatrix} 1 & 1 & 1 & 1 1 & -1 & 1 & -1 1 & 1 & -1 & -1 1 & -1 & -1 & 1 end {bmatrix}} { begin {bmatrix} sigma _ {1} rho _ {1} & 0 & 0 & 0 0 & sigma _ {1} rho _ {2} & 0 & 0 0 & 0 & sigma _ {2} rho _ {1} & 0 0 & 0 & 0 & sigma _ {2} rho _ {2} end {bmatrix}} { begin {bmatrix} x_ {1} y_ {1} x_ {2} y_ {1} x_ {1} y_ {2} x_ {2} y_ {2} end {bmatrix}} [5pt] & quad = left ({ begin {bmatrix} 1 & 0 0 & 1 1 & 0 end {bmatrix}} bullet { begin {bmatrix} 1 & 0 1 & 0 0 & 1 end {bmatrix}} right) left ({ begin {bmatrix} 1 & 1 1 & -1 end {bmatrix}} otimes { begin {bmatrix} 1 & 1 1 & -1 end {bmatrix}} right) left ({ begin {bmatrix} sigma _ {1} & 0 0 & sigma _ {2} end {bmatrix}} otimes { begin {bmatrix} rho _ {1} & 0 0 & rho _ {2} end {bmatrix}} right) left ({ begin {bmatrix} x_ {1} x_ {2} end {bmatrix}} otimes { začátek {bmatrix} y_ {1} y_ {2} end {bmatrix}} right) [5pt] & quad = left ({ begin {bmatrix} 1 & 0 0 & 1 1 & 0 end {bmatrix}} bullet { begin {bmatrix} 1 & 0 1 & 0 0 & 1 end {bmatrix}} righ t) left ({ begin {bmatrix} 1 & 1 1 & -1 end {bmatrix}} { begin {bmatrix} sigma _ {1} & 0 0 & sigma _ {2} end { bmatrix}} { begin {bmatrix} x_ {1} x_ {2} end {bmatrix}} , otimes , { begin {bmatrix} 1 & 1 1 & -1 end {bmatrix}} { begin {bmatrix} rho _ {1} & 0 0 & rho _ {2} end {bmatrix}} { begin {bmatrix} y_ {1} y_ {2} end {bmatrix} } right) [5pt] & quad = { begin {bmatrix} 1 & 0 0 & 1 1 & 0 end {bmatrix}} { begin {bmatrix} 1 & 1 1 & -1 end {bmatrix}} { begin {bmatrix} sigma _ {1} & 0 0 & sigma _ {2} end {bmatrix}} { begin {bmatrix} x_ {1} x_ {2} end {bmatrix }} , circ , { begin {bmatrix} 1 & 0 1 & 0 0 & 1 end {bmatrix}} { begin {bmatrix} 1 & 1 1 & -1 end {bmatrix}} { begin {bmatrix } rho _ {1} & 0 0 & rho _ {2} end {bmatrix}} { begin {bmatrix} y_ {1} y_ {2} end {bmatrix}}. end {zarovnaný}}}$

Jinými slovy, ${ displaystyle operatorname {SHD} = S ^ {(1)} HD ^ {(1)} odrážka S ^ {(2)} HD ^ {(2)}}$, se rozdělí na dvě rychlé Johnson-Lindenstraussovy transformace a celková redukce vyžaduje čas ${ displaystyle O (d_ {1} log d_ {1} + d_ {2} log d_ {2})}$ spíše než ${ displaystyle d_ {1} d_ {2} log (d_ {1} d_ {2})}$ jako u přímého přístupu.

Stejný přístup lze rozšířit i na výpočet produktů vyššího stupně, například ${ displaystyle operatorname {SHD} (x otimes y otimes z)}$

Ahle a kol.^[15] ukazuje, že pokud ${ displaystyle operatorname {SHD}}$ má ${ displaystyle varepsilon ^ {- 2} ( log 1 / delta) ^ {c + 1}}$ řádky ${ displaystyle | | operatorname {SHD} x | _ {2} - | x || leq varepsilon | x | _ {2}}$ pro libovolný vektor ${ displaystyle x in mathbb {R} ^ {d ^ {c}}}$ s pravděpodobností ${ displaystyle 1- delta}$, přičemž umožňuje rychlé množení s mírou ${ displaystyle c}$ tenzory.

Jin a kol.^[17], stejný rok, vykázal podobný výsledek pro obecnější třídu volání matic RIP, který zahrnuje podvzorkované Hadamardovy matice. Ukázaly, že tyto matice umožňují rozdělení na tenzory za předpokladu, že je počet řádků ${ displaystyle varepsilon ^ {- 2} ( log 1 / delta) ^ {2c-1} log d}$.V případě ${ displaystyle c = 2}$ toto odpovídá předchozímu výsledku.

Tyto rychlé konstrukce lze znovu kombinovat s výše uvedeným přístupem rekurze, což dává nejrychlejší celkový tenzorový náčrt.

Načrtávání údajů

Je také možné provést takzvané tenzorové skicování tzv. „Data aware“. Namísto násobení náhodné matice na datech jsou datové body vzorkovány nezávisle s určitou pravděpodobností v závislosti na normě bodu.^[18]

Aplikace

Explicitní polynomiální jádra

Metody jádra jsou populární v strojové učení protože dávají algoritmu navrženému svobodu navrhnout „prostor funkcí“, ve kterém lze měřit podobnost jejich datových bodů. Jednoduchý binární klasifikátor založený na jádře je založen na následujícím výpočtu:

${ displaystyle { hat {y}} ( mathbf {x '}) = operatorname {sgn} sum _ {i = 1} ^ {n} y_ {i} k ( mathbf {x} _ {i }, mathbf {x '}),}$

kde ${ displaystyle mathbf {x} _ {i} v mathbb {R} ^ {d}}$ jsou datové body, ${ displaystyle y_ {i}}$ je štítek ${ displaystyle i}$th bod (buď -1 nebo +1), a ${ displaystyle { hat {y}} ( mathbf {x '})}$ je předpověď třídy ${ displaystyle mathbf {x '}}$.Funkce ${ displaystyle k: mathbb {R} ^ {d} times mathbb {R} ^ {d} to mathbb {R}}$ je jádro. Typickými příklady jsou jádro funkce radiální báze, ${ displaystyle k (x, x ') = exp (- | x-x' | _ {2} ^ {2})}$, a polynomiální jádra jako ${ displaystyle k (x, x ') = (1+ langle x, x' rangle) ^ {2}}$.

Při tomto použití se metoda jádra nazývá „implicitní“. Někdy je rychlejší provést „explicitní“ metodu jádra, ve které je dvojice funkcí ${ displaystyle f, g: mathbb {R} ^ {d} to mathbb {R} ^ {D}}$ jsou nalezeny, takové, že ${ displaystyle k (x, x ') = langle f (x), g (x') rangle}$To umožňuje, aby výše uvedený výpočet byl vyjádřen jako

${ displaystyle { hat {y}} ( mathbf {x '}) = operatorname {sgn} sum _ {i = 1} ^ {n} y_ {i} langle f ( mathbf {x} _ {i}), g ( mathbf {x '}) rangle = operatorname {sgn} left langle left ( sum _ {i = 1} ^ {n} y_ {i} f ( mathbf { x} _ {i}) right), g ( mathbf {x '}) right rangle,}$

kde hodnota ${ displaystyle sum _ {i = 1} ^ {n} y_ {i} f ( mathbf {x} _ {i})}$ lze vypočítat předem.

Problém této metody spočívá v tom, že prostor funkcí může být velmi velký. To je ${ displaystyle D >> d}$Například pro polynomiální jádro ${ displaystyle k (x, x ') = langle x, x' rangle ^ {3}}$ dostaneme ${ displaystyle f (x) = x otimes x otimes x}$ a ${ displaystyle g (x ') = x' otimes x ' otimes x'}$, kde ${ displaystyle otimes}$ je tenzorový produkt a ${ displaystyle f (x), g (x ') v mathbb {R} ^ {D}}$ kde ${ displaystyle D = d ^ {3}}$.Li ${ displaystyle d}$ je již velký, ${ displaystyle D}$ může být mnohem větší než počet datových bodů (${ displaystyle n}$), a proto je explicitní metoda neúčinná.

Myšlenka tenzorového náčrtu je, že můžeme vypočítat přibližné funkce ${ displaystyle f ', g': mathbb {R} ^ {d} to mathbb {R} ^ {t}}$ kde ${ displaystyle t}$ může být dokonce menší než ${ displaystyle d}$, a které stále mají tu vlastnost, že ${ displaystyle langle f '(x), g' (x ') rangle cca k (x, x')}$.

Tato metoda byla představena v roce 2020^[15] pracovat i pro polynomy vysokého stupně a jádra funkcí radiální báze.

Násobení komprimované matice

Předpokládejme, že máme dvě velké datové sady, reprezentované jako matice ${ displaystyle X, Y in mathbb {R} ^ {n krát d}}$a chceme najít řádky ${ displaystyle i, j}$ s největšími vnitřními produkty ${ displaystyle langle X_ {i}, Y_ {j} rangle}$Mohli jsme počítat ${ displaystyle Z = XY ^ {T} in mathbb {R} ^ {n krát n}}$ a jednoduše se na všechny podívejte ${ displaystyle n ^ {2}}$ možnosti. To by však trvalo přinejmenším ${ displaystyle n ^ {2}}$ času a pravděpodobně blíže k ${ displaystyle n ^ {2} d}$ pomocí standardních technik násobení matic.

Myšlenka multiplikace komprimovaných matic je obecná identita

${ displaystyle XY ^ {T} = součet _ {i = 1} ^ {d} X_ {i} mnohokrát Y_ {i}}$

kde ${ displaystyle otimes}$ je tenzorový produkt Protože můžeme vypočítat (lineární ) přiblížení k ${ displaystyle X_ {i} mnohokrát Y_ {i}}$ efektivně je můžeme shrnout, abychom získali aproximaci celého produktu.

Kompaktní multilineární sdružování

Tenzorové náčrtky lze použít ke snížení počtu proměnných potřebných při implementaci bilineárního sdružování v a nervová síť.

Bilineární sdružování je technika přijímání dvou vstupních vektorů, ${ displaystyle x, y}$ z různých zdrojů a pomocí tenzorového produktu ${ displaystyle x mnohokrát}$ jako vstupní vrstva do neuronové sítě.

v^[19] autoři uvažovali o použití tenzorového náčrtu ke snížení počtu potřebných proměnných.

V roce 2017 další příspěvek^[20] vezme FFT vstupních prvků, než se spojí pomocí elementárního produktu. To opět odpovídá původnímu tenzorovému náčrtu.

Reference

Další čtení

• Ahle, Thomas; Knudsen, Jakob (03.09.2019). „Téměř optimální náčrt tenzoru“. Researchgate. Citováno 2020-07-11.
• Slyusar, V. I. (27. prosince 1996). „Konečné produkty v maticích v radarových aplikacích“ (PDF). Radioelektronika a komunikační systémy. - 1998, roč. 41; Číslo 3: 50–53.
• Slyusar, V. I. (1997-05-20). „Analytický model digitálního anténního pole na základě produktů dělících matice (PDF). Proc. ICATT-97, Kyiv: 108–109.
• Slyusar, V. I. (1997-09-15). "Nové operace maticového produktu pro aplikace radarů" (PDF). Proc. Přímé a inverzní problémy teorie elektromagnetických a akustických vln (DIPED-97), Lviv.: 73–74.
• Slyusar, V. I. (13. března 1998). "Rodina produktů tváře matic a její vlastnosti" (PDF). Kybernetika a systémová analýza C / C Kibernetiky I Sistemnyi Analiz. - 1999. 35 (3): 379–384. doi:10.1007 / BF02733426.