Vkládání věty - Sentence embedding

Část série na
Strojové učení
a
dolování dat

Vkládání věty je souhrnný název pro řadu technik v zpracování přirozeného jazyka (NLP), na které jsou věty mapovány vektory z reálná čísla[1][2][3][4][5][6][7][8].

aplikace

Vkládání věty používá hluboké učení softwarové knihovny PyTorch[9] a TensorFlow[10]

Hodnocení

Způsobem testování kódování vět je jejich použití v korpusu Věty zahrnující kompoziční znalosti (SICK)[11]jak pro zapojení (SICK-E), tak pro příbuznost (SICK-R).

v [12] nejlepších výsledků se dosáhne pomocí a Síť BiLSTM vyškoleni na Korpus Stanfordského přirozeného jazyka (SNLI). The Pearsonův korelační koeficient pro SICK-R je 0,885 a výsledek pro SICK-E je 86,3. Mírné zlepšení oproti předchozím výsledkům je uvedeno v [13]: SICK-R: 0,888 a SICK-E: 87,8 pomocí zřetězení obousměrně Vratná rekurentní jednotka.

Viz také

externí odkazy

Vkládání vět InferSent a tréninkový kód

Výuka Reprezentace distribuované věty pro všeobecné účely prostřednictvím rozsáhlého víceúčelového učení

Reference

  1. ^ Shrnutí příspěvku: Hodnocení vkládání vět do následných a lingvistických úloh sondování
  2. ^ Oren Barkan, Noam Razin, Itzik Malkiel, Ori Katz, Avi Caciularu, Noam Koenigstein. "Škálovatelné pozorné modelování věty-dvojice pomocí vkládání destilované věty". AAAI 2020; arxiv: 1908.05161.
  3. ^ Aktuálně nejlepší univerzální vkládání slov a vkládání vět
  4. ^ Daniel Cer, Yinfei Yang, Sheng-yi Kong, Nan Hua, Nicole Limtiaco, Rhomni St. John, Noah Constant, Mario Guajardo-Cespedes, Steve Yuan, Chris Tar, Yun-Hsuan Sung, Brian Strope: „Universal Sentence Encoder“, 2018; arXiv: 1803.11175.
  5. ^ Ledell Wu, Adam Fisch, Sumit Chopra, Keith Adams, Antoine Bordes: „StarSpace: Embed All The Things!“, 2017; arXiv: 1709.03856.
  6. ^ Sanjeev Arora, Yingyu Liang a Tengyu Ma. „Jednoduchý, ale obtížný základ pro vkládání vět.“, 2016; openreview: SyK00v5xx.
  7. ^ Mircea Trifan, Bogdan Ionescu, Cristian Gadea a Dan Ionescu. "Metoda zpracování digitálního signálu grafu pro sémantickou analýzu." In Applied Computational Intelligence and Informatics (SACI), 2015 IEEE 10. Jubilee International Symposium on, pp. 187-192. IEEE, 2015; ieee: 7208196.
  8. ^ Pierpaolo Basile, Annalina Caputo a Giovanni Semeraro. „Studie kompoziční sémantiky slov v distribučních prostorech.“ In Semantic Computing (ICSC), 2012 IEEE Sixth International Conference on, str. 154-161. IEEE, 2012; tj. 6337099 .
  9. ^ Microsoft. "vložení destilované věty".
  10. ^ Google. "univerzální kodér vět". Hub TensorFlow. Citováno 6. října 2018.
  11. ^ Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi a Roberto Zamparelli. „Léčba SICK pro hodnocení kompozičních distribučních sémantických modelů.“ V LREC, s. 216-223. 2014 [1].
  12. ^ Alexis Conneau, Douwe Kiela, Holger Schwenk, Loic Barrault: „Supervised Learning of Universal Sentence Reprezentations from Natural Language Inference Data“, 2017; arXiv: 1705,02364.
  13. ^ Sandeep Subramanian, Adam Trischler, Yoshua Bengio: „Learning General Purpose Distributed Sentence Reprezentations via Large Scale Multi-task Learning“, 2018; arXiv: 1804 00079.