Ztráta tripletů - Triplet loss

Ztráta tripletů je funkce ztráty pro strojové učení algoritmy, kde je základní (kotevní) vstup srovnáván s pozitivním (truthy) vstupem a negativním (falsy) vstupem. Vzdálenost od vstupu základní (kotva) k pozitivnímu (truthy) vstupu je minimalizována a vzdálenost od vstupu základní (kotva) k negativnímu (falešný) vstupu je maximalizována^[1]^[2]První formulace ekvivalentní ztrátě tripletů byla zavedena (bez myšlenky použití kotev) pro metrické učení z relativních srovnání M. Schultze a T. Joachims v roce 2003^[3].

Vynucením pořadí vzdáleností modely ztráty tripletů zakládají tak, že pár vzorků se stejnými štítky má menší vzdálenost než ty s různými štítky. Na rozdíl od t-SNE který zachovává objednávky vložení pomocí rozdělení pravděpodobnosti, ztráta tripletů funguje přímo na vložených vzdálenostech. Proto při své běžné implementaci potřebuje zacházení s měkkou rezervou s proměnnou slack ${ displaystyle alpha}$ v jeho ztráta závěsu - formulace stylu. Často se používá pro učení podobnosti za účelem učení se vkládání, jako je naučit se hodnotit, vkládání slov, myšlenkové vektory, a metrické učení.^[4].

Zvažte úkol trénovat neuronovou síť, aby rozpoznávala tváře (např. Pro vstup do vysoce zabezpečené zóny). Klasifikátor vyškolený pro klasifikaci instance by musel být rekvalifikován pokaždé, když je do databáze tváří přidána nová osoba. Tomu lze zabránit tím, že se problém bude považovat za problém učení podobnosti namísto problému klasifikace. Zde je síť trénována (pomocí kontrastní ztráty) na výstup vzdálenosti, která je malá, pokud obraz patří známé osobě, a velká, pokud obraz patří neznámé osobě. Pokud však chceme k danému obrázku odeslat nejbližší obrázky, rádi bychom se naučili pořadí a ne jen podobnost. V tomto případě se použije ztráta tripletů.

The funkce ztráty lze popsat pomocí a Euklidovská vzdálenost funkce

{ displaystyle { mathcal {L}} left (A, P, N right) = operatorname {max} left ({ | operatorname {f} left (A right) - operatorname {f } left (P right) |} ^ {2} - { | operatorname {f} left (A right) - operatorname {f} left (N right) |} ^ {2 } + alpha, 0 vpravo)}

kde

{ displaystyle A}

je kotevní vstup,

{ displaystyle P}

je pozitivní vstup stejné třídy jako

{ displaystyle A}

,

{ displaystyle N}

je záporný vstup jiné třídy než

{ displaystyle A}

,

{ displaystyle alpha}

je rozpětí mezi kladnými a zápornými páry a

{ displaystyle operatorname {f}}

je vložení.

To pak může být použito v nákladové funkci, která je součtem všech ztrát, které pak mohou být použity pro minimalizaci předpokládané optimalizace problém

{ displaystyle { mathcal {J}} = součet _ {i = 1} ^ {{} M} { mathcal {L}} vlevo (A ^ {(i)}, P ^ {(i)} , N ^ {(i)} vpravo)}

Indexy jsou pro jednotlivé vstupní vektory uvedeny jako triplet. Triplet je tvořen nakreslením kotevního vstupu, kladným vstupem, který popisuje stejnou entitu jako kotevní entita, a negativním vstupem, který nepopisuje stejnou entitu jako kotevní entita. Tyto vstupy jsou poté spuštěny v síti a výstupy jsou použity ve ztrátové funkci.

Porovnání a rozšíření

v počítačové vidění úkoly, jako je opětovná identifikace, převládala víra, že ztráta tripletů je horší než použití náhradní ztráty (tj. typické ztráty při klasifikaci) následované samostatnými kroky metrického učení. Alexander Hermans, Lucas Beyer a Bastian Leibe ukázali, že pro modely vyškolené od nuly, stejně jako předcvičené modely, speciální verze ztráty tripletů provádějící end-to-end hluboké metrické učení překonává většinu ostatních publikovaných metod od roku 2017.^[5]

Ztráta tripletů byla navíc rozšířena o současné udržování řady objednávek na vzdálenost optimalizací spojitosti stupeň relevance s řetězem (tj. žebřík) vzdálenostních nerovností. To vede k Ztráta žebříku, u kterého bylo prokázáno, že nabízí vylepšení výkonu vizuálního sémantického vkládání naučit se hodnotit úkoly.^[6]

Viz také

Reference

^ Chechik, G .; Sharma, V .; Shalit, U .; Bengio, S. (2010). „Rozsáhlé online učení podobnosti obrázků prostřednictvím hodnocení“ (PDF). Journal of Machine Learning Research. 11: 1109–1135.
^ Schroff, F .; Kalenichenko, D .; Philbin, J. (červen 2015). FaceNet: Sjednocené vkládání pro rozpoznávání a shlukování tváří. Konference IEEE 2015 o počítačovém vidění a rozpoznávání vzorů (CVPR). 815–823. arXiv:1503.03832. doi:10.1109 / CVPR.2015.7298682. ISBN 978-1-4673-6964-0. S2CID 206592766.
^ Schultz, M .; Joachims, T. (2004). „Učení metriky vzdálenosti z relativních srovnání“ (PDF). Pokroky v systémech zpracování neurálních informací. 16: 41–48.
^ Ailon, Nir; Hoffer, Elad (2014-12-20). "Hluboké metrické učení pomocí sítě Triplet". arXiv:1412.6622. Bibcode:2014arXiv1412.6622H. Citovat deník vyžaduje | deník = (Pomoc)
^ Hermans, Alexander; Beyer, Lucas; Leibe, Bastian (2017-03-22). „Na obranu ztráty tripletů při opětovné identifikaci osob“. arXiv:1703.07737 [cs.CV ].
^ Zhou, Mo; Niu, Zhenxing; Wang, Le; Gao, Zhanning; Zhang, Qilin; Hua, Gang (03.04.2020). „Ztráta žebříku pro koherentní vizuálně-sémantické vkládání“ (PDF). Sborník konference AAAI o umělé inteligenci. 34 (7): 13050–13057. doi:10.1609 / aaai.v34i07.7006. ISSN 2374-3468. S2CID 208139521.

Tento umělá inteligence související článek je a pahýl. Wikipedii můžete pomoci pomocí rozšiřovat to.

Tento algoritmy nebo datové struktury související článek je a pahýl. Wikipedii můžete pomoci pomocí rozšiřovat to.

[1] Chechik, G .; Sharma, V .; Shalit, U .; Bengio, S. (2010). „Rozsáhlé online učení podobnosti obrázků prostřednictvím hodnocení“ (PDF). Journal of Machine Learning Research. 11: 1109–1135.

[2] Schroff, F .; Kalenichenko, D .; Philbin, J. (červen 2015). FaceNet: Sjednocené vkládání pro rozpoznávání a shlukování tváří. Konference IEEE 2015 o počítačovém vidění a rozpoznávání vzorů (CVPR). 815–823. arXiv:1503.03832. doi:10.1109 / CVPR.2015.7298682. ISBN 978-1-4673-6964-0. S2CID 206592766.

[SchultzJoachims-3] Schultz, M .; Joachims, T. (2004). „Učení metriky vzdálenosti z relativních srovnání“ (PDF). Pokroky v systémech zpracování neurálních informací. 16: 41–48.

[4] Ailon, Nir; Hoffer, Elad (2014-12-20). "Hluboké metrické učení pomocí sítě Triplet". arXiv:1412.6622. Bibcode:2014arXiv1412.6622H. Citovat deník vyžaduje | deník = (Pomoc)

[5] Hermans, Alexander; Beyer, Lucas; Leibe, Bastian (2017-03-22). „Na obranu ztráty tripletů při opětovné identifikaci osob“. arXiv:1703.07737 [cs.CV ].

[Zhou_Niu_Wang_Gao_2020_pp._13050–13057-6] Zhou, Mo; Niu, Zhenxing; Wang, Le; Gao, Zhanning; Zhang, Qilin; Hua, Gang (03.04.2020). „Ztráta žebříku pro koherentní vizuálně-sémantické vkládání“ (PDF). Sborník konference AAAI o umělé inteligenci. 34 (7): 13050–13057. doi:10.1609 / aaai.v34i07.7006. ISSN 2374-3468. S2CID 208139521.

[1]

[2]

[3]

[4]

[5]

[6]