Extrakce znalostí - Knowledge extraction

Extrakce znalostí je vytvoření znalost ze strukturovaného (relační databáze, XML ) a nestrukturované (text, dokumenty, snímky ) Zdroje. Výsledné znalosti musí být ve strojově čitelném a strojově interpretovatelném formátu a musí představují znalosti způsobem, který usnadňuje odvozování. I když je metodicky podobný extrakce informací (NLP ) a ETL (datový sklad), hlavním kritériem je, že výsledek extrakce jde nad rámec vytváření strukturovaných informací nebo transformace na relační schéma. Vyžaduje buď opětovné použití stávajících formální znalosti (opětovné použití identifikátorů nebo ontologie ) nebo generování schématu na základě zdrojových dat.

Skupina RDB2RDF W3C ^[1] v současné době standardizuje jazyk pro extrakci rámce popisu zdrojů (RDF) z relační databáze. Dalším populárním příkladem extrakce znalostí je transformace Wikipedie na strukturovaná data a také mapování na stávající znalost (vidět DBpedia a Freebase ).

Přehled

Po standardizaci jazyků reprezentace znalostí jako např RDF a SOVA, bylo v této oblasti provedeno mnoho výzkumů, zejména pokud jde o transformaci relačních databází do RDF, rozlišení identity, objevování znalostí a učení ontologie. Obecný proces používá tradiční metody z extrakce informací a extrahovat, transformovat a načíst (ETL), které transformují data ze zdrojů do strukturovaných formátů.

K kategorizaci přístupů v tomto tématu lze použít následující kritéria (některá z nich zohledňují pouze extrakci z relačních databází):^[2]

Příklady

Propojení entit

1. DBpedia Spotlight, OpenCalais, Pampeliška dataTXT, Zemanta API, Extrakt a PoolParty Extractor analyzovat volný text přes uznání pojmenované entity a poté disambiguates kandidáty přes rozlišení jmen a propojí nalezené entity s DBpedia úložiště znalostí^[3] (Pampeliška dataTXT demo nebo Webová ukázka DBpedia Spotlight nebo Demonstrace PoolParty Extractor ).

Prezident Obama zavolal ve středu Kongres prodloužit daňovou úlevu pro studenty zahrnuté do loňského balíčku ekonomických stimulů s argumentem, že tato politika poskytuje velkorysější pomoc.

Jako prezident Obama je spojen s DBpedia LinkedData zdroj, lze automaticky získat další informace a Sémantický rozum může například odvodit, že uvedená entita je typu Osoba (použitím FOAF (software) ) a typu Prezidenti Spojených států (použitím YAGO ). Příklady čítačů: Metody, které rozpoznávají pouze entity nebo odkazují na články z Wikipedie a další cíle, které neposkytují další získávání strukturovaných dat a formální znalosti.

Relační databáze k RDF

1. Ztrojnásobit, D2R Server, Ultraobal, a Virtuos RDF Views jsou nástroje, které transformují relační databáze na RDF. Během tohoto procesu umožňují opětovné použití existujících slovníků a ontologie během procesu převodu. Při transformaci typické relační tabulky s názvem uživatelů, jeden sloupec (např.název) nebo agregace sloupců (např.jméno a příjmení) musí poskytnout URI vytvořené entity. Obvykle se používá primární klíč. Každý další sloupec lze extrahovat jako vztah s touto entitou.^[4] Poté se k interpretaci informací použijí (a znovu použijí) vlastnosti s formálně definovanou sémantikou. Například sloupec v uživatelské tabulce s názvem ženatý lze definovat jako symetrický vztah a sloup domovská stránka lze převést na vlastnost z Slovník FOAF volala foaf: domovská stránka, což jej kvalifikuje jako inverzní funkční vlastnost. Pak každý záznam uživatel tabulka může být vytvořena jako instance třídy foaf: Osoba (Ontologická populace). dodatečně znalost domény (ve formě ontologie) lze vytvořit z status_id, buď ručně vytvořenými pravidly (pokud status_id je 2, záznam patří do třídy Učitel) nebo (částečně) automatizovanými metodami (učení ontologie ). Zde je příklad transformace:

:Petr:ženatý:Mary.:ženatýAsova:SymmetricProperty.:Petrfoaf:domovská stránka<http://example.org/Peters_page>.:PetrAfoaf:Osoba.:PetrA:Student.:ClausA:Učitel.

Extrakce ze strukturovaných zdrojů do RDF

1: 1 Mapování z tabulek / pohledů RDB na entity / atributy / hodnoty RDF

Při vytváření RDB reprezentace problémové domény je výchozím bodem často diagram vztahů mezi entitami (ERD). Každá entita je obvykle reprezentována jako databázová tabulka, každý atribut entity se stává sloupcem v této tabulce a vztahy mezi entitami jsou označeny cizími klíči. Každá tabulka obvykle definuje konkrétní třídu entit, každý sloupec jeden ze svých atributů. Každý řádek v tabulce popisuje instanci entity, jednoznačně identifikovanou primárním klíčem. Řádky tabulky společně popisují sadu entit. V ekvivalentní reprezentaci RDF stejné sady entit:

• Každý sloupec v tabulce je atribut (tj. Predikát)
• Každá hodnota sloupce je hodnota atributu (tj. Objekt)
• Každý klíč řádku představuje ID entity (tj. Předmět)
• Každý řádek představuje instanci entity
• Každý řádek (instance entity) je v RDF reprezentován kolekcí trojic se společným předmětem (ID entity).

Pro vykreslení ekvivalentního pohledu založeného na sémantice RDF by tedy základní algoritmus mapování byl následující:

1. pro každou tabulku vytvořte třídu RDFS
2. převést všechny primární klíče a cizí klíče na IRI
3. přiřadit každému predikátu IRI
4. přiřadit každému řádku predikát rdf: type a propojit jej s IRI třídy RDFS odpovídající tabulce
5. pro každý sloupec, který není součástí primárního nebo cizího klíče, vytvořte trojici obsahující IRI primárního klíče jako předmět, sloupec IRI jako predikát a hodnotu sloupce jako objekt.

Včasné zmínky o tomto základním nebo přímém mapování lze nalézt v Tim Berners-Lee Srovnání ER model k modelu RDF.^[4]

Komplexní mapování relačních databází na RDF

Výše zmíněné mapování 1: 1 odhaluje stará data jako RDF přímým způsobem, lze použít další vylepšení ke zlepšení užitečnosti výstupu RDF v příslušných případech použití. Normálně se informace ztratí během transformace diagramu entitních vztahů (ERD) na relační tabulky (podrobnosti najdete v nesoulad objektově-relační impedance ) a musí být reverzní inženýrství. Z koncepčního hlediska mohou přístupy k extrakci pocházet ze dvou směrů. První směr se pokusí extrahovat nebo se naučit schéma OWL z daného schématu databáze. Dřívější přístupy používaly pevné množství ručně vytvořených pravidel mapování k upřesnění mapování 1: 1.^[5][6][7] Propracovanější metody využívají heuristiku nebo učící se algoritmy k vyvolání schematických informací (metody se překrývají s učení ontologie ). Zatímco některé přístupy se snaží extrahovat informace ze struktury vlastní schématu SQL^[8] (analýza např. cizích klíčů), ostatní analyzují obsah a hodnoty v tabulkách a vytvářejí koncepční hierarchie^[9] (např. sloupce s několika hodnotami jsou kandidáty na zařazení do kategorií). Druhý směr se pokouší mapovat schéma a jeho obsah na již existující doménovou ontologii (viz také: zarovnání ontologie ). Vhodná doménová ontologie však často neexistuje a je třeba ji nejprve vytvořit.

XML

Protože XML je strukturováno jako strom, lze libovolná data snadno reprezentovat v RDF, který je strukturován jako graf. XML2RDF je jedním příkladem přístupu, který používá prázdné uzly RDF a transformuje prvky a atributy XML na vlastnosti RDF. Téma je však složitější jako v případě relačních databází. V relační tabulce je primární klíč ideálním kandidátem na to, aby se stal předmětem extrahovaných trojic. Prvek XML však lze transformovat - v závislosti na kontextu - jako předmět, predikát nebo objekt trojnásobku. XSLT lze použít standardní transformační jazyk k ručnímu převodu XML na RDF.

Přehled metod / nástrojů

Extrakce ze zdrojů přirozeného jazyka

Největší část informací obsažených v obchodních dokumentech (asi 80%^[10]) je zakódován v přirozeném jazyce, a proto nestrukturovaný. Protože nestrukturovaná data je spíše výzvou pro extrakci znalostí, jsou zapotřebí sofistikovanější metody, které mají obecně tendenci poskytovat horší výsledky ve srovnání se strukturovanými daty. Potenciál masivního získávání extrahovaných znalostí by však měl kompenzovat zvýšenou složitost a sníženou kvalitu extrakce. V následujícím textu jsou zdroje v přirozeném jazyce chápány jako zdroje informací, kde jsou data poskytována nestrukturovaným způsobem jako prostý text. Pokud je daný text dodatečně vložen do značkovacího dokumentu (např. Dokument HTML), uvedené systémy obvykle značkovací prvky automaticky odstraní.

Jazyková anotace / zpracování přirozeného jazyka (NLP)

Jako krok předzpracování k extrakci znalostí může být nutné provést jazykovou anotaci jednou nebo více NLP nástroje. Jednotlivé moduly v pracovním postupu NLP obvykle staví na formátech specifických pro nástroj pro vstup a výstup, ale v kontextu extrakce znalostí byly použity strukturované formáty pro reprezentaci jazykových anotací.

Mezi typické úkoly NLP související s extrakcí znalostí patří:

• značení části řeči (POS)
• lemmatizace (LEMMA) nebo pramenící (STEM)
• slovní disambiguace (WSD, související se sémantickou anotací níže)
• rozpoznávání pojmenovaných entit (NER, viz také IE níže)
• syntaktická analýza, často přijímá syntaktické závislosti (DEP)
• mělká syntaktická syntaktická analýza (CHUNK): pokud je problém s výkonem, chunking vede k rychlé extrakci nominálních a jiných frází
• rozlišení anafory (viz rozlišení koreference v IE níže, ale zde je vidět jako úkol vytvořit odkazy mezi textovými zmínkami spíše než mezi zmínkou o entitě a abstraktním vyjádřením entity)
• označení sémantické role (SRL, vztahující se k extrakci relací; nezaměňovat s významovou anotací, jak je popsáno níže)
• analýza diskurzu (vztahy mezi různými větami, zřídka používané v reálných aplikacích)

V NLP jsou taková data obvykle reprezentována ve formátech TSV (formáty CSV s TAB jako oddělovače), často označované jako formáty CoNLL. Pro pracovní postupy extrakce znalostí byly pohledy RDF na tato data vytvořeny v souladu s následujícími standardy komunity:

• Formát výměny NLP (NIF, pro mnoho častých typů anotací)^[11][12]
• Webová anotace (WA, často se používá pro propojení entit)^[13]
• CoNLL-RDF (pro anotace původně představované ve formátech TSV)^[14][15]

Mezi další formáty specifické pro platformu patří

• LAPPS Interchange Format (LIF, použitý v LAPPS Grid)^[16][17]
• Formát poznámek NLP (NAF, používaný v systému správy pracovního toku NewsReader)^[18][19]

Tradiční extrakce informací (IE)

Tradiční extrakce informací ^[20] je technologie zpracování přirozeného jazyka, která extrahuje informace z typických textů přirozeného jazyka a vhodným způsobem je strukturuje. Před zahájením procesu musí být v modelu specifikovány druhy informací, které mají být identifikovány, a proto je celý proces tradiční extrakce informací závislý na doméně. IE je rozdělena do následujících pěti dílčích úkolů.

• Rozpoznání pojmenované entity (NE)
• Rozlišení koreference (CO)
• Konstrukce prvku šablony (TE)
• Konstrukce relace šablony (TR)
• Výroba scénáře šablony (ST)

Úkolem uznání pojmenované entity je rozpoznat a kategorizovat všechny pojmenované entity obsažené v textu (přiřazení pojmenované entity k předem definované kategorii). Funguje to pomocí metod založených na gramatice nebo statistických modelů.

Rozlišení koreference identifikuje ekvivalentní entity, které byly rozpoznány NER, v textu. Existují dva relevantní druhy vztahu ekvivalence. První se týká vztahu mezi dvěma různými zastoupenými entitami (např. IBM Europe a IBM) a druhý vztahu mezi entitou a jejich anaforické odkazy (např. to a IBM). Oba druhy lze rozpoznat podle rozlišení koreference.

Během konstrukce prvku šablony systém IE identifikuje popisné vlastnosti entit, které jsou rozpoznávány NER a CO. Tyto vlastnosti odpovídají běžným vlastnostem, jako je červená nebo velká.

Konstrukce relace šablony identifikuje vztahy, které existují mezi prvky šablony. Tyto vztahy mohou být několika druhů, jako jsou Works-For nebo Local-In, s omezením, že doména i rozsah odpovídají entitám.

V scénáři šablony budou výrobní události, které jsou popsány v textu, identifikovány a strukturovány s ohledem na entity, které jsou uznány NER a CO a vztahy, které jsou identifikovány TR.

Extrakce informací na základě ontologie (OBIE)

Extrakce informací na základě ontologie ^[10] je podpole extrakce informací, s níž alespoň jeden ontologie slouží k vedení procesu extrakce informací z textu v přirozeném jazyce. Systém OBIE používá k identifikaci metody tradiční extrakce informací koncepty, instance a vztahy použitých ontologií v textu, které budou po procesu strukturovány do ontologie. Vstupní ontologie tedy tvoří model informací, které mají být extrahovány.

Ontologické učení (OL)

Učení ontologie je automatické nebo poloautomatické vytváření ontologií, včetně extrakce termínů odpovídající domény z textu přirozeného jazyka. Protože ruční vytváření ontologií je extrémně náročné na pracovní sílu a čas, je zde velká motivace k automatizaci procesu.

Sémantická anotace (SA)

Během sémantické anotace^[21] text v přirozeném jazyce je rozšířen o metadata (často zastoupená v RDFa ), díky čemuž by měla být sémantika obsažených výrazů strojově srozumitelná. U tohoto procesu, který je obecně poloautomatický, se získávají znalosti v tom smyslu, že je navázáno spojení mezi lexikálními pojmy a například koncepty z ontologií. Získají se tak znalosti, jaký význam pojmu ve zpracovávaném kontextu byl zamýšlen, a proto je zakotven význam textu strojově čitelná data se schopností vyvodit závěry. Sémantická anotace je obvykle rozdělena do následujících dvou dílčích úkolů.

1. Terminologická extrakce
2. Propojení entit

Na úrovni extrakce terminologie jsou z textu extrahovány lexikální termíny. Za tímto účelem určuje tokenizer nejprve hranice slov a řeší zkratky. Poté jsou termíny z textu, které odpovídají konceptu, extrahovány pomocí lexikonu specifického pro doménu, který je propojuje při propojování entit.

V propojení entit ^[22] spojení mezi extrahovanými lexikálními pojmy ze zdrojového textu a pojmy z ontologie nebo znalostní báze, jako je DBpedia Je založena. K tomu jsou koncepty kandidátů vhodně detekovány podle několika významů termínu pomocí lexikonu. Nakonec je analyzován kontext pojmů, aby se určila nejvhodnější disambiguace a přiřadil pojem správnému pojmu.

Všimněte si, že „sémantickou anotaci“ v kontextu extrakce znalostí nelze zaměňovat sémantická analýza jak je chápáno při zpracování přirozeného jazyka (také označované jako „sémantická anotace“): Sémantická analýza má za cíl úplnou strojově čitelnou reprezentaci přirozeného jazyka, zatímco sémantická anotace ve smyslu extrakce znalostí řeší jen její velmi základní aspekt.

Nástroje

Následující kritéria lze použít ke kategorizaci nástrojů, které extrahují znalosti z textu v přirozeném jazyce.

Následující tabulka charakterizuje některé nástroje pro extrakci znalostí ze zdrojů přirozeného jazyka.

Objevování znalostí

Objev znalostí popisuje proces automatického hledání velkých objemů data pro vzory, které lze zvážit znalost o data.^[43] To je často popisováno jako odvození znalosti ze vstupních dat. Objevování znalostí se vyvinulo z dolování dat doména a úzce s ní úzce souvisí jak metodicky, tak terminologicky.^[44]

Nejznámější odvětví dolování dat je objevování znalostí, také známé jako objevování znalostí v databázích (KDD). Stejně jako mnoho dalších forem objevování znalostí, které vytváří abstrakce vstupních údajů. The znalost získané procesem se mohou stát dalšími data které lze použít pro další použití a objevování. Výsledky objevování znalostí často nelze uplatnit, užitečné objevování znalostí, také známý jako dolování dat na základě domén,^[45] si klade za cíl objevit a poskytnout užitečné znalosti a postřehy.

Další slibnou aplikací objevování znalostí je oblast modernizace softwaru, zjišťování slabosti a dodržování předpisů, které zahrnuje porozumění stávajícím softwarovým artefaktům. Tento proces souvisí s konceptem reverzní inženýrství. Znalosti získané ze stávajícího softwaru jsou obvykle prezentovány ve formě modelů, na které lze v případě potřeby položit konkrétní dotazy. An vztah entity je častým formátem reprezentace znalostí získaných ze stávajícího softwaru. Skupina pro správu objektů (OMG) vyvinul specifikaci Znalostní objev metamodel (KDM), která definuje ontologii softwarových aktiv a jejich vztahů za účelem provádění zjišťování znalostí ve stávajícím kódu. Získávání znalostí ze stávajících softwarových systémů, také známých jako těžba softwaru úzce souvisí s dolování dat, protože stávající softwarové artefakty obsahují enormní hodnotu pro řízení rizik a obchodní hodnota, klíč pro hodnocení a vývoj softwarových systémů. Místo těžby jednotlivce datové sady, těžba softwaru soustředí se na metadata, jako jsou procesní toky (např. datové toky, kontrolní toky a mapy volání), architektura, databázová schémata a obchodní pravidla / podmínky / proces.

Vstupní data

• Databáze
  • Relační data
  • Databáze
  • Sklad dokumentů
  • Datový sklad
• Software
  • Zdrojový kód
  • Konfigurační soubory
  • Vytvářejte skripty
• Text
  • Koncept těžby
• Grafy
  • Těžba molekul
• Sekvence
  • Těžba datového proudu
  • Učení se z časově proměnných datových toků v koncepčním driftu
• Web

Výstupní formáty

• Datový model
• Metadata
• Metamodely
• Ontologie
• Reprezentace znalostí
• Znalostní značky
• Obchodní pravidlo
• Znalostní objev metamodel (KDM)
• Notace modelování podnikových procesů (BPMN)
• Mezilehlé zastoupení
• Rámec popisu zdrojů (RDF)
• Softwarové metriky

Viz také

• Shluková analýza
• Datová archeologie

Reference