The Element of Statistical LearningData Mining, Inference
and Prediction
Cluster Analysis and Self-Organizing MapsAnaliza skupień i metody SOM
Trevor Hastie, Robert TibshiraniJerome Friedman
Marta Leniewska
Przykład klasteryzacji
Reprezentacja danych x1, …, xN
Macierze podobieństwa D (N×N) Symetryczne, dij 0, dii = 0,
Obiekty xi Rp
Różnica na atrybucie Atrybut ilościowy:
Porządkowy: zamiana na ilościowy Nominalny: macierze podobieństwa L (M×M) między
wartościami atrybutu
,)( 2' jiij xx
,' jiij xx )),(1(2)( '
2' iij jiij xxxx
),( ' jiijj xxd
Różnice między obiektami
Wpływ atrybutu Xj na
(średnia różnica między obiektami)
błąd kwadratowy: - estymator Var(Xj) z próby
Równe wpływy atrybutów: Wyróżnianie pewnych atrybutówBrakujące wartości atrybutów: pomijanie, wprowadzanie, nowa wartość zmiennej
),,(),( '1
' jiij
p
jjjii xxdwxxD
p
jjw
1
1
p
jjj dwD
1
),( 'ii xxD
jjd var2
jvar
jj dw /1
Algorytmy kombinatoryczneUstalone z góry K < N klastrów Cel: funkcja k = C(i) minimalizująca rozrzut wewn.
= W(C) + B(C)
Ilość podziałów N danych na K klastrów Liczba Stirlinga 2 rodz. S(10,4) = 34.105 S(19,4) 1010
Algorytmy znajdujące lokalne minima
K
k kiC kiC kiCiiii ddT
1 )( )'( )(''2
1
NK
k
kK kkK
KKNS
1
)1(!
1),(
)1,1(),1(),( kNSkNSkKNS
Algorytm K średnichZałożenia: atrybuty ilościowe, miara zróżnicowania: kwadrat odległości euklidesowej, Nk – ilość elementów klastra k
Kryterium:
Znaleźć min centra mk dla wybranych klastrów C
(średnie), koszt ~ (ilość elementów klastra) Znaleźć min podział na klastry C
Do braku zmian C, zbiega do min lokalnego
K
k kiCkik
K
k kiC kiCii xxNxxCW
1 )(
2
1 )( )'(
2'2
1)(
K
k kiCkik
mCmxN
Kk 1
2
)(}{, 1
min
Inne wersje K średnich
Wersja probabilistyczna: algorytm EM – dopasowanie do modelu mieszaniny rozkładów Gaussa. Wersja ulepszona: żadna pojedyncza zmiana przypisania obserwacji do klastra nie polepszy wyniku.
Zastosowanie – kompresja
Podział na bloki po m pixeli – wektory w Rm
Aproksymacja bloków centrami klastrówObraz skompresowany: log2K na blok + mK
czyli log2K/8m oryginału
Lepiej przy zastosowaniu teorii ShannonaDziała bo wiele bloków wygląda tak samoMiara deformacji obrazu - straty
Przykład
Sir Ronald A. Fisher(1890-1962)oryginał
K = 200,m = 4,0,239 oryginału,Deformacja: 0,89
K = 4,m = 4,0,063 oryginału,Deformacja: 16,95
Rozmyte K średnich
Rozmyty pseudopodział – rozmyty K podziałP = {A1, ..., AK}
PrzykładN=3, K=2P = {A1, A2}
A1 = 0.6/x1 + 1/x2 + 0.1/x3
A2 = 0.4/x1 + 0/x2 + 0.9/x3
,1)(1
K
kik xA NxA
N
iik
1
)(0
••
•
0.20.40.60.81.0
••
•x1 x2 x3
0.0
Rozmyte K średnichCentrum rozmytego klastra Ai
v R, v > 1
Minimalizacjawskaźnika Znaleźć centra dla wybranych klastrów P(t-1)
Znaleźć podział na klastry P(t)
zmiana Ak(xi)
Kryterium stopu:
N
ii
N
iii
k
kw
xkwm
1
1
)(
)(
viki xAkw )]([)(
N
i
K
kkiiv mxkwPJ
1 1
2)()(
)()(max )1()(
,
)1()(i
tki
tkki
tt xAxAPP
C.d.
v 1, uogólnienie K średnichv , bardziej rozmytyzbieżny dla każdego v (1, )
Przykład K = 2 v = 1,25
x1
x2
x3
x4
x5
x6
x7 x8 x9 x11
x10
x12
x13
x14
x15
i
A1(xi)
A2(xi)
xi1
xi2
Algorytm K medoidów
Medoid – element centralnyUogólnienie K średnich na dowolne atrybuty i odległości.Kryterium:
Znaleźć min centra xik
dla wybranych klastrów C
(medoidy)koszt dla klastra ~ (ilość elementów klastra)2
Znaleźć min podział na klastry C
K
k kiCii
iC kKk
d1 )(}{, 1
min
Przykład K medoidów
12 krajówK = 3USA, ISR, FRA, EGY, BELZAI, IND, BRAYUG, USS, CUB, CHI
Inna wersja – CLARA
Kilka (np. m = 5) próbek liczności 40+2K Dla każdej próbki – minimalizacja bezp. przez iteracyjne zmiany medoidów (PAM)Koszt iteracji = O(K(N-K)2)Wybór tego z m układów medoidów który jest najlepszy dla wszystkich danych
Kwestie praktyczne
Wybór K* początkowych centrów Podać centra lub indeksy lub koder C Losowo lub krokowo minimalizując kryterium
Estymacja K* Rozrzut w klastrach ~ 1/K Rozrzut dla K<K* i dla K>K* K* odpowiada zgięciu wykresu
Statystyka Gap
0,0
0,5
1,0
1,5
Metody hierarchiczne
Nie wymagają K, tylko miary odległości między grupami obserwacjiKlastry na poziomie M tworzone przez łączenie klastrów z poziomu M-1Poziom min: N klastrów {xi}, poziom max: {x1, ..., xN}
Strategie aglomeracyjne i dzielące, N poziomówUporządkowany ciąg poziomów ~ podziałówWybór poziomu np. statystyka Gap
Dendrogram
Dendrogram jako opis danych
Ocena reprezentacyjności: wspólczynnik korelacji między dii’ a Cii’
Cii wysokość pierwszego wspólnego klastra N różnych na N(N-1)/2 Cii’ <= {Cik, Ci’k} (trójkąty równoramienne)
Metody aglomeracyjne
Od singletonów, do 1 klastra Miary odległości między klastrami G i H: Single Linkage – najmniejsza odległość Complete Linkage – największa odległość Group Avarage – średnia odległość
'',min),( iiHiGiSL dHGd
'',max),( iiHiGiCL dHGd
Gi Hi
iiHG
GA dNN
HGd'
'1),(
GA, CL, SL - dendrogramy
Przykład
Metody dzieląceGdy chcemy otrzymać mało klastrówCiąg podziałów metodą K=2 średnich/medoidów Zależy od początkowej konfiguracji w każdym kroku Nie zawsze otrzymamy własność monotoniczności
Albo Obiekt najbardziej odległy od reszty w klastrze G
do klastra H Obserwacje bliższe H niż G: najbliższa H do H Klaster do podziału – max średnica, lub średni rozrzut
wewnętrzny Do singletonów lub nierozróżnialności w klastrach
Hierarchiczne metody rozmyte
Rozmyta relacja równoważności R na X2
R(x,x) = 1 R(x,y) = R(y,x) x,yXx,zX
-cut rozmytego zbioru A: A = {x | A(x) }
0,2A = {x1, x2}, 0,4A = {x1}
)],(),,(min[max),( zyRyxRzxRXy
•0.20.4
•x1 x2
0.0
A(x)
Hierarchiczne metody rozmyte
R to crisp relacja równoważności – pary podobne Znaleźć odpowiednią relację R(lub relację kompatybilności i jej tranzytywne domknięcie)
gdzie q > 0,
Tranzytywne domknięcie R to RT = R(n-1)
qp
j
q
jiijii xxxxR1
1'' )(1),(
),(max '', iiiixxR
Przykład dla q=2
xi1
xi2
x1
x2
x3
x4
x5
Self-Organizing Maps
Wersja K średnich – prototypy na 1 lub 2 wymiarowej rozmaitości w przestrzeni atrybutów, mapowanie obserwacji na rozmaitośćMacierz K prototypów mj Rp,
o współrzędnych lj R2
Inicjalizacja – np. na płaszczyźnie wyznaczonej metodą głównych składowychRegularne rozmieszczenie prototypów na płaszczyźnieWyginanie płaszczyzny
Algorytm SOMZnajdź mj najbliższy xi w Rp
Przesuń bliskich sąsiadów mj wg. lj do xi
Wskaźnik uczenia maleje od 1 do 0Próg r maleje od R do 1Albo: przesunięcie zależne od odległości do mj
Sąsiedztwo mj zawiera tylko mj K średnich
)( kikk mxmm
))(( kikjkk mxllhmm
1.
2.
3.
SOM aproksymacją K średnich
Porównać błędy rekonstrukcji:Przykład: porównanie z K = 25 średnich
2
jmx
k
kkj w
xwm
Zastosowanie
http://websom.hut.fi/websom
WEBSOM – rzutowanieartykułów z newsgroupwg. tematyki
artykuł jako wektor wystąpień ustalonych terminów
opcja zoom
Średnica zbioru punktów
•
••
••
••
•
•
•• •
•
• • •
•
Średnia zbioru punktów
•
••
•
••
•
•
Medoid zbioru punktów
•
••
•
••
•
•
Odległość międzygrupowa