ELKI - ELKI

Prostředí pro aplikace DeveLoping KDD podporované indexovými strukturami
Screenshot z vizualizace ELKI 0.4 vizualizace klastrové analýzy OPTICS.
Screenshot z vizualizace ELKI 0.4 OPTIKA shluková analýza.
VývojářiTechnická univerzita v Dortmundu; zpočátku Ludwig Maximilian University v Mnichově
Stabilní uvolnění
0.7.5 / 15. února 2019; Před 21 měsíci (2019-02-15)
Úložiště
Upravte to na Wikidata
NapsánoJáva
Operační systémMicrosoft Windows, Linux, Operační Systém Mac
PlošinaJava platforma
TypDolování dat
LicenceAGPL (od verze 0.4.0)
webová stránkaelki-projekt.github.io

ELKI (pro Prostředí pro aplikace DeveLoping KDD podporované indexovými strukturami) je dolování dat (KDD, zjišťování znalostí v databázích) softwarový rámec vyvinutý pro použití ve výzkumu a výuce. Původně to bylo ve výzkumné jednotce databázových systémů profesora Hans-Peter Kriegel na Ludwig Maximilian University v Mnichově, Německo, a nyní pokračovalo na Technická univerzita v Dortmundu, Německo. Jeho cílem je umožnit vývoj a vyhodnocení pokročilých algoritmů dolování dat a jejich interakce s struktury indexu databáze.

Popis

Rámec ELKI je napsán v Jáva a postaveno na modulární architektuře. Nejčastěji zahrnuté algoritmy patří shlukování, detekce odlehlých hodnot[1] a databázové indexy. The objektově orientovaná architektura umožňuje kombinaci libovolných algoritmů, datových typů, funkce vzdálenosti, indexy a hodnotící opatření. Java kompilátor just-in-time optimalizuje všechny kombinace v podobném rozsahu, takže srovnávací výsledky jsou srovnatelnější, pokud sdílejí velké části kódu. Při vývoji nových algoritmů nebo indexových struktur lze stávající komponenty snadno znovu použít a bezpečnost typu Java detekuje mnoho chyb programování v době kompilace.

ELKI byl použit v datová věda například shlukovat vorvaně codas,[2] foném shlukování,[3] pro detekci anomálií v vesmírný let operace,[4] pro sdílení kol přerozdělení,[5] a predikce provozu.[6]

Cíle

Univerzitní projekt je vyvinut pro použití v výuka a výzkum. Zdrojový kód je napsán s ohledem na rozšiřitelnost a opětovné použití, ale je také optimalizován pro výkon. Experimentální hodnocení algoritmů závisí na mnoha faktorech prostředí a podrobnosti implementace mohou mít velký dopad na dobu běhu.[7] ELKI si klade za cíl poskytnout sdílenou základnu kódů se srovnatelnými implementacemi mnoha algoritmů.

Jako výzkumný projekt v současné době nenabízí integraci s obchodní inteligence aplikace nebo rozhraní k běžným systémy pro správu databází přes SQL. The copyleft (AGPL ) licence může také bránit integraci do komerčních produktů; lze jej však použít k vyhodnocení algoritmů před vývojem vlastní implementace komerčního produktu. Aplikace algoritmů dále vyžaduje znalosti o jejich použití, parametrech a studiu původní literatury. Publikum je studenti, výzkumní pracovníci, datoví vědci, a softwaroví inženýři.

Architektura

ELKI je modelován kolem a databáze -inspirované jádro, které používá vertikální rozložení dat, které ukládá data do skupin sloupců (podobně jako rodiny sloupců v NoSQL databáze ). Toto jádro databáze poskytuje hledání nejbližšího souseda, vyhledávání rozsahu / poloměru a dotaz na vzdálenost pomocí zrychlení indexu pro širokou škálu opatření odlišnosti. Algoritmy založené na takových dotazech (např. Algoritmus k-nejbližšího souseda, místní odlehlý faktor a DBSCAN ) lze snadno implementovat a těžit z akcelerace indexu. Jádro databáze také poskytuje rychlé a paměťově efektivní kolekce pro kolekce objektů a asociativní struktury, jako jsou seznamy nejbližších sousedů.

ELKI rozsáhle využívá rozhraní Java, takže jej lze snadno rozšířit na mnoha místech. Například lze přidat a kombinovat vlastní datové typy, funkce vzdálenosti, indexové struktury, algoritmy, vstupní analyzátory a výstupní moduly bez úpravy existujícího kódu. To zahrnuje možnost definování vlastní funkce vzdálenosti a použití existujících indexů pro zrychlení.

ELKI používá a zavaděč služeb architektura umožňující publikování rozšíření jako samostatná soubory jar.

ELKI používá optimalizované kolekce pro výkon, spíše než standardní Java API.[8] Pro smyčky například jsou psány podobně jako C ++ iterátory:

  pro (DBIDIter iter = ID.iter(); iter.platný(); iter.záloha()) {    vztah.dostat(iter);     // Např. Získáte odkazovaný objekt    idcollection.přidat(iter); // Např. Přidejte odkaz na kolekci DBID  }

Na rozdíl od typických iterátorů Java (které mohou iterovat pouze nad objekty) to šetří paměť, protože iterátor může interně používat primitivní hodnoty pro ukládání dat. Snížená odvoz odpadu zlepšuje dobu běhu. Optimalizované knihovny sbírek jako např GNU Trove3, Koloboke, a fastutil používají podobné optimalizace. ELKI zahrnuje datové struktury, jako jsou kolekce objektů a hromady (např. hledání nejbližšího souseda ) pomocí těchto optimalizací.

Vizualizace

Vizualizační modul používá SVG pro škálovatelný grafický výstup a Apache Batik pro vykreslení uživatelského rozhraní i bezztrátový export do PostScript a PDF pro snadné zařazení do vědeckých publikací v Latex Exportované soubory lze upravovat pomocí editorů SVG, například Inkscape. Od té doby Kaskádové styly Jsou-li použity, lze grafický design snadno změnit. Bohužel Batik je poměrně pomalý a paměťově náročný, takže vizualizace nejsou příliš škálovatelné pro velké datové sady (u větších datových sad je ve výchozím nastavení zobrazen pouze podvzorek dat).

Ocenění

Verze 0.4, představená na „Symposiu o prostorových a časových databázích“ 2011, která zahrnovala různé metody pro detekci odlehlých prostorových hodnot,[9] získal na konferenci „cenu za nejlepší demonstrační příspěvek“.

Zahrnuté algoritmy

Vyberte zahrnuté algoritmy:[10]

Historie verzí

Verze 0.1 (červenec 2008) obsahovala několik algoritmů z shluková analýza a detekce anomálií, stejně jako některé indexové struktury tak jako R * -strom. První vydání bylo zaměřeno na shlukování podprostoru a korelační shlukování algoritmy.[11]

Verze 0.2 (červenec 2009) přidala funkce pro analýza časových řad, zejména funkce vzdálenosti pro časové řady.[12]

Verze 0.3 (březen 2010) rozšířila výběr detekce anomálií algoritmy a vizualizační moduly.[13]

Verze 0.4 (září 2011) přidala algoritmy pro dolování geo dat a podporu multirelačních databázových a indexových struktur.[9]

Verze 0.5 (duben 2012) se zaměřuje na hodnocení shluková analýza výsledky, přidávání nových vizualizací a několik nových algoritmů.[14]

Verze 0.6 (červen 2013) zavádí novou 3D adaptaci rovnoběžné souřadnice pro vizualizaci dat, kromě obvyklých přídavků algoritmů a indexových struktur.[15]

Verze 0.7 (srpen 2015) přidává podporu pro nejisté datové typy a algoritmy pro analýzu nejistých dat.[16]

Verze 0.7.5 (únor 2019) přidává další klastrové algoritmy, algoritmy detekce anomálií, hodnotící opatření a indexovací struktury.[17]

Podobné aplikace

  • Scikit-učit se: knihovna pro strojové učení v pythonu
  • Weka: Podobný projekt univerzity Waikato se zaměřením na klasifikace algoritmy
  • RapidMiner: Aplikace komerčně dostupná (omezená verze je k dispozici jako open source)
  • KNIME: Open source platforma, která integruje různé komponenty pro strojové učení a dolování dat

Viz také

Reference

  1. ^ Hans-Peter Kriegel, Peer Kröger, Arthur Zimek (2009). „Techniky detekce odlehlých hodnot (výukový program)“ (PDF). 13. Pacificko-asijská konference o získávání znalostí a dolování dat (PAKDD 2009). Bangkok, Thajsko. Citováno 2010-03-26.CS1 maint: více jmen: seznam autorů (odkaz)
  2. ^ Gero, Shane; Whitehead, Hal; Rendell, Luke (2016). „Jednotlivá, jednotková a hlasová narážka na úrovni klanu v codas spermatu“. Royal Society Open Science. 3 (1): 150372. Bibcode:2016RSOS .... 350372G. doi:10.1098 / rsos.150372. ISSN  2054-5703. PMC  4736920. PMID  26909165.
  3. ^ Stahlberg, Felix; Schlippe, Tim; Vogel, Stephan; Schultz, Tanja (2013). "Extrakce výslovnosti z posloupností fonémů prostřednictvím křížového zarovnání slov mezi fonémy". Statistické zpracování jazyka a řeči. Přednášky z informatiky. 7978. str. 260–272. doi:10.1007/978-3-642-39593-2_23. ISBN  978-3-642-39592-5. ISSN  0302-9743.
  4. ^ Verzola, Ivano; Donati, Alessandro; Martinez, Jose; Schubert, Matthias; Somodi, Laszlo (2016). „Project Sibyl: A Novelty Detection System for Human Spaceflight Operations“. Prostor Ops Konference 2016. doi:10.2514/6.2016-2405. ISBN  978-1-62410-426-8.
  5. ^ Adham, Manal T .; Bentley, Peter J. (2016). „Hodnocení metod shlukování v rámci algoritmu umělého ekosystému a jejich aplikace na redistribuci kol v Londýně“. Biosystémy. 146: 43–59. doi:10.1016 / j.biosystems.2016.04.008. ISSN  0303-2647. PMID  27178785.
  6. ^ Moudře, Michael; Hurson, Ali; Sarvestani, Sahra Sedigh (2015). Msgstr "Rozšiřitelný simulační rámec pro vyhodnocení centralizovaných předpovědních algoritmů provozu". 2015 Mezinárodní konference o propojených vozidlech a výstavě (ICCVE). 391–396. doi:10.1109 / ICCVE.2015.86. ISBN  978-1-5090-0264-1.
  7. ^ Kriegel, Hans-Peter; Schubert, Erich; Zimek, Arthur (2016). „(Černé) umění vyhodnocení běhového prostředí: Porovnáváme algoritmy nebo implementace?“. Znalostní a informační systémy. 52 (2): 341–378. doi:10.1007 / s10115-016-1004-2. ISSN  0219-1377.
  8. ^ „DBID“. Domovská stránka ELKI. Citováno 13. prosince 2016.
  9. ^ A b Elke Achtert, Achmed Hettab, Hans-Peter Kriegel, Erich Schubert, Arthur Zimek (2011). Detekce prostorových odlehlých hodnot: data, algoritmy, vizualizace. 12. mezinárodní sympozium o prostorových a časových databázích (SSTD 2011). Minneapolis, MN: Springer. doi:10.1007/978-3-642-22922-0_41.CS1 maint: více jmen: seznam autorů (odkaz)
  10. ^ výpis z „Algoritmy dolování dat v ELKI“. Citováno 17. října 2019.
  11. ^ Elke Achtert, Hans-Peter Kriegel, Arthur Zimek (2008). ELKI: Softwarový systém pro hodnocení algoritmů klastrování podprostorů (PDF). Sborník příspěvků z 20. mezinárodní konference o správě vědecké a statistické databáze (SSDBM 08). Hongkong, Čína: Springer. doi:10.1007/978-3-540-69497-7_41.CS1 maint: více jmen: seznam autorů (odkaz)
  12. ^ Elke Achtert, Thomas Bernecker, Hans-Peter Kriegel, Erich Schubert, Arthur Zimek (2009). ELKI v čase: ELKI 0,2 pro hodnocení výkonu měr vzdálenosti pro časové řady (PDF). Sborník z 11. mezinárodního sympozia o pokroku v prostorových a časových databázích (SSTD 2010). Aalborg, Dänemark: Springer. doi:10.1007/978-3-642-02982-0_35.CS1 maint: více jmen: seznam autorů (odkaz)
  13. ^ Elke Achtert, Hans-Peter Kriegel Lisa Reichert, Erich Schubert, Remigius Wojdanowski, Arthur Zimek (2010). Vizuální hodnocení modelů detekce odlehlých hodnot. 15. mezinárodní konference o databázových systémech pro pokročilé aplikace (DASFAA 2010). Tsukuba, Japonsko: Springer. doi:10.1007/978-3-642-12098-5_34.CS1 maint: více jmen: seznam autorů (odkaz)
  14. ^ Elke Achtert, Sascha Goldhofer, Hans-Peter Kriegel, Erich Schubert, Arthur Zimek (2012). Vyhodnocení metrik klastrů a vizuální podpora. 28. mezinárodní konference o datovém inženýrství (ICDE). Washington DC. doi:10.1109 / ICDE.2012.128.CS1 maint: více jmen: seznam autorů (odkaz)
  15. ^ Elke Achtert, Hans-Peter Kriegel, Erich Schubert, Arthur Zimek (2013). Interaktivní dolování dat pomocí stromů 3D-paralelní souřadnice. Sborník mezinárodní konference ACM o správě dat (SIGMOD ). New York City, NY. doi:10.1145/2463676.2463696.CS1 maint: více jmen: seznam autorů (odkaz)
  16. ^ Erich Schubert; Alexander Koos; Tobias Emrich; Andreas Züfle; Klaus Arthur Schmid; Arthur Zimek (2015). „Rámec pro shlukování nejistých dat“ (PDF). Sborník nadace VLDB. 8 (12): 1976–1987. doi:10.14778/2824032.2824115.
  17. ^ Schubert, Erich; Zimek, Arthur (10.02.2019). „ELKI: Velká knihovna open-source pro analýzu dat - ELKI Release 0.7.5“ Heidelberg"". arXiv:1902.03616 [cs.LG ].

externí odkazy