Silueta (shlukování) - Silhouette (clustering)

Silueta odkazuje na metodu výkladu a ověřování konzistence uvnitř shluky dat. Tato technika poskytuje stručné grafické znázornění toho, jak dobře byl každý objekt klasifikován.^[1]

Hodnota siluety je měřítkem toho, jak podobný je objekt vlastnímu shluku (soudržnost) ve srovnání s jinými shluky (oddělení). Silueta se pohybuje od -1 do +1, kde vysoká hodnota naznačuje, že objekt je dobře přiřazen k vlastnímu klastru a špatně k sousedním klastrům. Pokud má většina objektů vysokou hodnotu, je vhodná konfigurace klastrování. Pokud mnoho bodů má nízkou nebo zápornou hodnotu, může mít konfigurace clusterů příliš mnoho nebo příliš málo clusterů.

Siluetu lze vypočítat s jakoukoli vzdálenost metrické, například Euklidovská vzdálenost nebo Vzdálenost na Manhattanu.

Definice

Děj zobrazující skóre siluety ze tří typů zvířat z datové sady Zoo, jak je vykreslil oranžový sada pro dolování dat. Ve spodní části pozemku silueta označuje delfíny a sviňuchy jako odlehlé hodnoty ve skupině savců.

Předpokládejme, že data byla seskupena pomocí jakékoli techniky, například k-prostředky, do ${displaystyle k}$ shluky.

Pro datový bod ${displaystyle iin C_ {i}}$ (datový bod ${displaystyle i}$ v klastru ${displaystyle C_ {i}}$ ), nechť

{displaystyle a (i) = {frac {1} {| C_ {i} | -1}} součet _ {jin C_ {i}, ieq j} d (i, j)}

je střední vzdálenost mezi ${displaystyle i}$ a všechny ostatní datové body ve stejném klastru, kde ${displaystyle d (i, j)}$ je vzdálenost mezi datovými body ${displaystyle i}$ a ${displaystyle j}$ v klastru ${displaystyle C_ {i}}$ (vydělíme ${displaystyle | C_ {i} | -1}$ protože nezahrnujeme vzdálenost ${displaystyle d (i, i)}$ v součtu). Můžeme tlumočit ${displaystyle a (i)}$ jako měřítko toho, jak dobře ${displaystyle i}$ je přiřazen ke svému klastru (čím menší hodnota, tím lepší přiřazení).

Poté definujeme střední odlišnost bodu ${displaystyle i}$ do nějakého klastru ${displaystyle C_ {k}}$ jako průměr vzdálenosti od ${displaystyle i}$ do všech bodů v ${displaystyle C_ {k}}$ (kde ${displaystyle C_ {k} eq C_ {i}}$ ).

Pro každý datový bod ${displaystyle iin C_ {i}}$ , nyní definujeme

{displaystyle b (i) = min _ {keq i} {frac {1} {| C_ {k} |}} součet _ {jin C_ {k}} d (i, j)}

být nejmenší (odtud ${min. styl zobrazení}$ operátor ve vzorci) střední vzdálenost ${displaystyle i}$ na všechny body v jakémkoli jiném klastru, z toho ${displaystyle i}$ není členem. O klastru s touto nejmenší střední odlišností se říká, že je „sousedním klastrem“ ${displaystyle i}$ protože je to další nejlépe vyhovující shluk pro bod ${displaystyle i}$ .

Nyní definujeme a silueta (hodnota) jednoho datového bodu ${displaystyle i}$

{displaystyle s (i) = {frac {b (i) -a (i)} {max {a (i), b (i)}}}}

, pokud

{displaystyle | C_ {i} |> 1}

a

{displaystyle s (i) = 0}

, pokud

{displaystyle | C_ {i} | = 1}

Které lze také psát jako:

{displaystyle s (i) = {egin {cases} 1-a (i) / b (i), & {mbox {if}} a (i)

Z výše uvedené definice je zřejmé, že

${displaystyle -1leq s (i) leq 1}$

Všimněte si také, že skóre je 0 pro klastry s velikostí = 1. Toto omezení je přidáno, aby se zabránilo významnému zvýšení počtu klastrů.

Pro ${displaystyle s (i)}$ být blízko 1 požadujeme ${displaystyle a (i) ll b (i)}$ . Tak jako ${displaystyle a (i)}$ je měřítkem toho, jak odlišný ${displaystyle i}$ je k vlastnímu klastru, malá hodnota znamená, že je dobře uzavřeno. Dále velký ${displaystyle b (i)}$ to naznačuje ${displaystyle i}$ je špatně uzavřeno se sousedním klastrem. Tak ${displaystyle s (i)}$ blízko jedné znamená, že jsou data vhodně seskupena ${displaystyle s (i)}$ je blízké negativní, pak to podle stejné logiky vidíme ${displaystyle i}$ by bylo vhodnější, kdyby to bylo seskupeno v sousedním klastru. An ${displaystyle s (i)}$ blízká nule znamená, že vztažný bod je na hranici dvou přirozených shluků.

Zlý ${displaystyle s (i)}$ přes všechny body klastru je míra toho, jak těsně jsou seskupeny všechny body v klastru. Tedy průměr ${displaystyle s (i)}$ přes všechna data z celé datové sady je měřítkem toho, jak vhodně byla data seskupena. Pokud je klastrů příliš mnoho nebo příliš málo, může to nastat při špatném výběru ${displaystyle k}$ se používá v klastrovém algoritmu (např .: k-prostředky ), některé klastry obvykle zobrazí mnohem užší siluety než ostatní. K určení přirozeného počtu klastrů v datové sadě lze tedy použít siluetové grafy a prostředky. Lze také zvýšit pravděpodobnost maximalizace siluety při správném počtu klastrů změnou měřítka dat pomocí vah funkcí, které jsou specifické pro klastr.^[2]

Kaufman a kol. představil termín koeficient koeficientu pro maximální hodnotu průměru ${displaystyle s (i)}$ přes všechna data z celé datové sady.^[3]

${displaystyle SC = max _ {k} {ilde {s}} vlevo (kight)}$

Kde ${displaystyle {ilde {s}} vlevo (kight)}$ představuje průměr ${displaystyle s (i)}$ přes všechna data celé datové sady pro konkrétní počet klastrů ${displaystyle k}$ .

Viz také

Reference

^ Peter J. Rousseeuw (1987). „Siluety: grafická pomoc při interpretaci a validaci klastrové analýzy“. Výpočetní a aplikovaná matematika. 20: 53–65. doi:10.1016/0377-0427(87)90125-7.
^ R.C. de Amorim, C. Hennig (2015). "Obnova počtu klastrů v souborech dat s funkcemi šumu pomocí faktorů změny měřítka funkcí". Informační vědy. 324: 126–145. arXiv:1602.06989. doi:10.1016 / j.ins.2015.06.039.
^ Leonard Kaufman; Peter J. Rousseeuw (1990). Hledání skupin v datech: Úvod do klastrové analýzy. Hoboken, NJ: Wiley-Interscience. p.87. doi:10.1002/9780470316801. ISBN 9780471878766.

[1] ^ Peter J. Rousseeuw (1987). „Siluety: grafická pomoc při interpretaci a validaci klastrové analýzy“. Výpočetní a aplikovaná matematika. 20: 53–65. doi:10.1016/0377-0427(87)90125-7.

[2] R.C. de Amorim, C. Hennig (2015). "Obnova počtu klastrů v souborech dat s funkcemi šumu pomocí faktorů změny měřítka funkcí". Informační vědy. 324: 126–145. arXiv:1602.06989. doi:10.1016 / j.ins.2015.06.039.

[3] ^ Leonard Kaufman; Peter J. Rousseeuw (1990). Hledání skupin v datech: Úvod do klastrové analýzy. Hoboken, NJ: Wiley-Interscience. p.87. doi:10.1002/9780470316801. ISBN 9780471878766.

[1]

[2]

[3]