Rozšířený booleovský model - Extended Boolean model - Wikipedia

The Rozšířený booleovský model byl popsán v článku Komunikace ACM, který vyšel v roce 1983, Gerardem Saltonem, Edwardem A. Foxem a Harrym Wu. Cílem rozšířeného booleovského modelu je překonat nevýhody booleovského modelu, který byl použit v vyhledávání informací. Booleovský model nezohledňuje váhu termínů v dotazech a sada výsledků booleovského dotazu je často příliš malá nebo příliš velká. Myšlenkou rozšířeného modelu je využití částečné shody a termínových vah jako u modelu vektorového prostoru. Kombinuje vlastnosti Vektorový vesmírný model s vlastnostmi Booleova algebra a hodnotí podobnost mezi dotazy a dokumenty. Tímto způsobem může být dokument poněkud relevantní, pokud odpovídá některým z dotazovaných výrazů a bude vrácen jako výsledek, zatímco v Standardní booleovský model nebylo.^[1]

Rozšířený booleovský model lze tedy považovat za zobecnění booleovských i vektorových modelů prostoru; jedná se o speciální případy, pokud jsou použita vhodná nastavení a definice. Výzkum dále ukázal, že účinnost se v porovnání se zpracováním booleovských dotazů zlepšuje. Jiný výzkum to ukázal relevantní zpětná vazba a rozšíření dotazu lze integrovat s rozšířeným zpracováním booleovských dotazů.

Definice

V Rozšířený booleovský model, dokument je reprezentován jako vektor (podobně jako ve vektorovém modelu). Každý i dimenze odpovídá samostatnému výrazu spojenému s dokumentem.

Váha termínu K._X spojené s dokumentem d_j se měří jeho normalizovaným Četnost termínů a lze jej definovat jako:

${ displaystyle w_ {x, j} = f_ {x, j} * { frac {Idf_ {x}} {max_ {i} Idf_ {i}}}}$

kde Idf_X je frekvence inverzních dokumentů a F_{x, j} četnost výrazů pro výraz x v dokumentu j.

Váhový vektor přidružený k dokumentu d_j lze reprezentovat jako:

${ displaystyle mathbf {v} _ {d_ {j}} = [w_ {1, j}, w_ {2, j}, ldots, w_ {i, j}]}$

Příklad 2 dimenzí

Obrázek 1: Podobnosti q = (K._X ∨ K._y) s dokumenty d_j a d_j+1.

Obrázek 2: Podobnosti q = (K._X ∧ K._y) s dokumenty d_j a d_j+1.

Vzhledem k prostoru složenému ze dvou termínů K._X a K._y pouze odpovídající váhy termínů jsou w₁ a w₂.^[2] Tedy pro dotaz q_nebo = (K._X ∨ K._y), můžeme vypočítat podobnost pomocí následujícího vzorce:

${ displaystyle sim (q_ {or}, d) = { sqrt { frac {w_ {1} ^ {2} + w_ {2} ^ {2}} {2}}}}$

Pro dotaz q_a = (K._X ∧ K._y), můžeme použít:

${ displaystyle sim (q_ {and}, d) = 1 - { sqrt { frac {(1-w_ {1}) ^ {2} + (1-w_ {2}) ^ {2}} {2 }}}}$

Zobecnění myšlenky a P-norem

Můžeme zobecnit předchozí příklad 2D rozšířeného booleovského modelu na vyšší t-dimenzionální prostor pomocí euklidovských vzdáleností.

To lze provést pomocí P-normy který rozšiřuje pojem vzdálenosti o p-vzdálenosti, kde 1 ≤ p ≤ ∞ je nový parametr.^[3]

• Zobecněný konjunktivní dotaz je dán vztahem:

${ displaystyle q_ {or} = k_ {1} lor ^ {p} k_ {2} lor ^ {p} .... lor ^ {p} k_ {t}}$

• Podobnost ${ displaystyle q_ {nebo}}$ a ${ displaystyle d_ {j}}$ lze definovat jako:

:${ displaystyle sim (q_ {or}, d_ {j}) = { sqrt [{p}] { frac {w_ {1} ^ {p} + w_ {2} ^ {p} + .... + w_ {t} ^ {p}} {t}}}}$

• Zobecněný disjunktivní dotaz je dán:

${ displaystyle q_ {and} = k_ {1} land ^ {p} k_ {2} land ^ {p} .... land ^ {p} k_ {t}}$

• Podobnost ${ displaystyle q_ {a}}$ a ${ displaystyle d_ {j}}$ lze definovat jako:

${ displaystyle sim (q_ {and}, d_ {j}) = 1 - { sqrt [{p}] { frac {(1-w_ {1}) ^ {p} + (1-w_ {2} ) ^ {p} + .... + (1-w_ {t}) ^ {p}} {t}}}}$

Příklady

Zvažte dotaz q = (K.₁ ∧ K.₂) ∨ K.₃. Podobnost mezi dotazem q a dokument d lze vypočítat pomocí vzorce:

${ displaystyle sim (q, d) = { sqrt [{p}] { frac {(1 - { sqrt [{p}] {({ frac {(1-w_ {1}) ^ ^ p } + (1-w_ {2}) ^ {p}} {2}}}})) ^ {p} + w_ {3} ^ {p}} {2}}}}$

Vylepšení oproti standardnímu booleovskému modelu

Lee a Fox^[4] porovnávali standardní a rozšířené booleovské modely se třemi testovacími kolekcemi, CISI, CACM a INSPEC. Použitím P-norem dosáhli průměrného zlepšení přesnosti o 79%, 106% a 210% oproti standardnímu modelu pro kolekce CISI, CACM a INSPEC , resp.
Model P-normy je výpočetně nákladný kvůli počtu exponenciálních operací, které vyžaduje, ale dosahuje mnohem lepších výsledků než standardní model a dokonce Fuzzy načítání techniky. The Standardní booleovský model je stále nejúčinnější.

Další čtení

• Metody adaptivní zpětné vazby v rozšířeném booleovském modelu Dr.Jongpill Choi
• Interpolace rozšířeného booleovského modelu načítání
• Fox, E .; Betrabet, S .; Koushik, M .; Lee, W. (1992), Načítání informací: Algoritmy a datové struktury; Rozšířený booleovský model, Prentice-Hall, Inc.
• Skorkovská, Lucie; Ircing, Pavel (2009), „Experimenty s automatickou formulací dotazů v rozšířeném booleovském modelu“, Text, řeč a dialog, Přednášky v informatice, 5729, Springer Berlin / Heidelberg, str. 371–378, doi:10.1007/978-3-642-04208-9_51, hdl:11025/16985, ISBN  978-3-642-04207-2

Viz také

• Získávání informací

Reference