Fowlkes – index slézů - Fowlkes–Mallows index

The Fowlkes – index slézů je externí hodnocení metoda, která se používá k určení podobnosti mezi dvěma shluky (shluky získané po a shlukovací algoritmus ) a také metriku k měření zmatené matice.^[1] Tento míra podobnosti může být buď mezi dvěma hierarchické shluky nebo shlukování a srovnávací klasifikace. Vyšší hodnota indexu Fowlkes – Mallows naznačuje větší podobnost mezi klastry a srovnávacími klasifikacemi.

Předkola

The Fowlkes – index slézů, když jsou k vyhodnocení výsledků použity výsledky dvou klastrových algoritmů, je definováno jako^[2]

${ displaystyle FM = { sqrt {PPV cdot TPR}} = { sqrt {{ frac {TP} {TP + FP}} cdot { frac {TP} {TP + FN}}}}}$

kde ${ displaystyle TP}$ je počet skutečná pozitiva, ${ displaystyle FP}$ je počet falešně pozitivní výsledky, a ${ displaystyle FN}$ je počet falešné negativy. ${ displaystyle TPR}$ je skutečná kladná sazba, také zvaný citlivost nebo odvolání, a ${ displaystyle PPV}$ je pozitivní prediktivní míra, také známý jako přesnost.

Definice

Zvažte dvě hierarchická seskupení ${ displaystyle n}$ objekty označené ${ displaystyle A_ {1}}$ a ${ displaystyle A_ {2}}$. Stromy ${ displaystyle A_ {1}}$ a ${ displaystyle A_ {2}}$ lze řezat na výrobu ${ displaystyle k = 2, ldots, n-1}$ shluky pro každý strom (buď výběrem shluků v určité výšce stromu nebo nastavením jiné síly hierarchického shlukování). Pro každou hodnotu ${ displaystyle k}$, lze vytvořit následující tabulku

${ displaystyle M = [m_ {i, j}] qquad (i = 1, ldots, k { text {and}} j = 1, ldots, k)}$

kde ${ displaystyle m_ {i, j}}$ je objektů společných mezi ${ displaystyle i}$th shluk ${ displaystyle A_ {1}}$ a ${ displaystyle j}$th shluk ${ displaystyle A_ {2}}$. The Fowlkes – index slézů pro konkrétní hodnotu ${ displaystyle k}$ je pak definována jako

${ displaystyle B_ {k} = { frac {T_ {k}} { sqrt {P_ {k} Q_ {k}}}}}$

kde

${ displaystyle T_ {k} = součet _ {i = 1} ^ {k} součet _ {j = 1} ^ {k} m_ {i, j} ^ {2} -n}$

${ displaystyle P_ {k} = součet _ {i = 1} ^ {k} ( součet _ {j = 1} ^ {k} m_ {i, j}) ^ {2} -n}$

${ displaystyle Q_ {k} = součet _ {j = 1} ^ {k} ( součet _ {i = 1} ^ {k} m_ {i, j}) ^ {2} -n}$

${ displaystyle B_ {k}}$ pak lze vypočítat pro každou hodnotu ${ displaystyle k}$ a podobnost mezi těmito dvěma shluky lze ukázat vynesením ${ displaystyle B_ {k}}$ proti ${ displaystyle k}$. Pro každého ${ displaystyle k}$ my máme ${ displaystyle 0 leq B_ {k} leq 1}$.

Fowlkes – index slézů lze také definovat na základě počtu bodů, které jsou společné nebo neobvyklé ve dvou hierarchických klastrech. Pokud definujeme

${ displaystyle TP}$ jako počet párů bodů, které jsou přítomny ve stejném klastru v obou ${ displaystyle A_ {1}}$ a ${ displaystyle A_ {2}}$.

${ displaystyle FP}$ jako počet párů bodů, které jsou přítomny ve stejném klastru v ${ displaystyle A_ {1}}$ ale ne v ${ displaystyle A_ {2}}$.

${ displaystyle FN}$ jako počet párů bodů, které jsou přítomny ve stejném klastru v ${ displaystyle A_ {2}}$ ale ne v ${ displaystyle A_ {1}}$.

${ displaystyle TN}$ jako počet párů bodů, které jsou v obou v různých shlucích ${ displaystyle A_ {1}}$ a ${ displaystyle A_ {2}}$.

Je možné ukázat, že čtyři počty mají následující vlastnost

${ displaystyle TP + FP + FN + TN = n (n-1) / 2}$

a to Fowlkes – index slézů pro dvě shluky lze definovat jako^[3]

${ displaystyle FM = { sqrt {PPV cdot TPR}} = { sqrt {{ frac {TP} {TP + FP}} cdot { frac {TP} {TP + FN}}}}}$

kde ${ displaystyle TP}$ je počet skutečná pozitiva, ${ displaystyle FP}$ je počet falešně pozitivní výsledky, a ${ displaystyle FN}$ je počet falešné negativy.

${ displaystyle TPR}$ je skutečná kladná sazba, také zvaný citlivost nebo odvolání, a ${ displaystyle PPV}$ je pozitivní prediktivní míra, také známý jako přesnost.

Index Fowlkes – Mallows je geometrický průměr z přesnost a odvolání.^[4]

Diskuse

Vzhledem k tomu, že index je přímo úměrný počtu skutečných pozitiv, znamená vyšší index větší podobnost mezi dvěma shluky používanými k určení indexu. Jedním ze základních způsobů, jak otestovat platnost tohoto indexu, je porovnat dvě shluky, které spolu nesouvisejí. Fowlkes a Mallows ukázali, že při použití dvou nesouvisejících shluků se hodnota tohoto indexu blíží nule, protože se zvyšuje celkový počet datových bodů vybraných pro shlukování; zatímco hodnota pro Randův index pro stejná data se rychle blíží ${ displaystyle 1}$^[1] Díky tomu je index Fowlkes – Mallows mnohem přesnější reprezentací nesouvisejících dat. Tento index také funguje dobře, pokud se do existující datové sady přidá šum a porovná se jejich podobnost. Fowlkes a Mallows ukázali, že hodnota indexu klesá, jak se zvyšuje složka hluku. Index také ukázal podobnost, i když hlučná datová sada měla jiný počet klastrů než klastry původní datové sady. Díky tomu je spolehlivým nástrojem pro měření podobnosti mezi dvěma klastry.

Reference

Bibliografie

• Ramirez, E. H .; Brena, R .; Magatti, D .; Stella, F. (2010). "Pravděpodobnostní metriky pro měkké shlukování a ověření modelu tématu". Mezinárodní konference IEEE / WIC / ACM 2010 o webové inteligenci a technologii inteligentních agentů. str. 406. doi:10.1109 / WI-IAT.2010.148. ISBN  978-1-4244-8482-9.

Viz také

• Skóre F1
• Matthewsův korelační koeficient
• Matice zmatku

externí odkazy

• Implementace indexu Fowlkes – Mallows v R.