Metode Klasterisasi Hierarki
Single linkage (contoh)
Single linkage clustering (nearest-neighbor approach):
mencari jarak terkecil dgn nilai terkecil untuk penggabungan
Data awal:
Single linkage
Tahapan dari proses clustering (single-lingkage):
1. Cluster {33} & {33} digabung
2. Cluster{15} & {16} digabung
3. Cluster{15 ,16} dg {18} digabung
4. Cluster{2}&{5} digabung
5. Cluster {2,5} dg {9} digabung
6. Cluster {2,5,9} dg {15,16,18} digabung
7. Cluster {2,5,9,15,16,18} dg {25} digabung
8. Cluster{2,5,9,15,16,18,25} dg {33,33} digabung
9. Cluster{2,5,9,15,16.18,25,33,33} dg {45}
digabung
Complete linkage (contoh)
Complete linkage clustering :
cari jarak yang terjauh, tetapi untuk pengklusterannya
pergunakan jarak yang terkecil seperti pada single linkage
Data awal:
Complete linkage
Tahapan dari proses clustering:1. Cluster {33} dg {33} digabung
2. Cluster{15} dg {16} digabung
3. Cluster{2} dg {5} digabung (arbitrary}
4. Cluster {15,16} dg {18} digabung
5. Cluster {2,5} dg {9} digabung
6. Cluster {25} dg {33,33} digabung
7. Cluster{2,5,9} dg {15,16,18} digabung
8. Cluster{25,33,33} dg {45} digabung
9. Cluster{2,5,9,16,18} dg {25,33,33,45}
digabung
Average linkage
Tahapan dari proses clustering:1. Step 1 sama
2. Step 2 sama
3. Pada Average linkage, mana yang didahulukan
penggabungan antara cluster {2}dg{5} terlebih dahulu
ataukah kombinasi cluster {15,16} dg {18}. ?
untuk {2}dg{5} jaraknya = 3 sedang
jarak dari :{15,16} dg {18} adalah average dari |18-15|
dan |18-16| (3+2)/2=2.5, shg digabungkan dahulu
{15,16} dg {18}
4. Cluster {2} dg {5} digabung
Rumus Umum
Membentuk Matrik Jarak, misal dengan Manhattan Distance :
atau menggunakan Euclidian Distance :
Beberapa metode Pengelompokan Secara Hierarki Aglomeratif :
◦ Single Linkage (Jarak Terdekat)
◦ Complete Linkage (Jarak Terjauh)
◦ Average Linkage (Jarak Rata-Rata)
d
j
jjman yxyxD1
,
Dddd uvuvuv },min{
Dddd uvuvuv },max{
Dddaveraged uvuvuv },{
d
j
jj xxxxD1
2
1212 ,
Contoh Studi Kasus Perhatikan dataset berikut :
Data Fitur x Fitur y
1 1 1
2 4 1
3 1 2
4 3 4
5 5 4
Kelompokkan dataset tersebut dengan menggunakan metode AHC (Single
Linkage, Complete Linkage dan Average Linkage) menggunakan jarak
Manhattan !
Contoh Studi Kasus (Cont.) Menghitung Jarak Pada Semua Pasangan dua data :
Hasil Matrik Jarak :
12111,
31141,
01111,
31
21
2
1
11
DataDataD
DataDataD
yxDataDataD
man
man
j
jjman
Dman 1 2 3 4 5
1 0 3 1 5 7
2 3 0 4 4 4
3 1 4 0 4 6
4 5 4 4 0 2
5 7 4 6 2 0
Data Fitur x Fitur y
1 1 1
2 4 1
3 1 2
4 3 4
5 5 4
7344151,
5324131,
51
41
DataDataD
DataDataD
man
man
4314154,
4314134,
4132114,
52
42
32
DataDataD
DataDataD
DataDataD
man
man
man
6244251,
4224231,
53
43
DataDataD
DataDataD
man
man
2024453, 54 DataDataDman
Contoh Studi Kasus (Cont.) Menggunakan Metode Single Linkage :
Dengan memperlakukan data sebagai kelompok, selanjutnya kita pilih jarak
dua kelompok yang terkecil.
terpilih kelompok 1 dan 3, sehingga kedua kelompok ini
digabungkan. (Melanjutkan pengelompokan).
Dman 1 2 3 4 5
1 0 3 1 5 7
2 3 0 4 4 4
3 1 4 0 4 6
4 5 4 4 0 2
5 7 4 6 2 0
1)min()min( 13 dDman
Contoh Studi Kasus (Cont.) Menghitung jarak antar kelompok (1 dan 3) dengan kelompok lain yang tersisa,
yaitu 2, 4 dan 5.
Dengan menghapus baris-baris dan kolom-kolom matrik jarak yang bersesuaiandengan kelompok 1 dan 3, serta menambahkan baris dan kolom untuk kelompok(13).
Selanjutnya dipilih jarak dua kelompok yang terkecil.
Dman 1 2 3 4 5
1 0 3 1 5 7
2 3 0 4 4 4
3 1 4 0 4 6
4 5 4 4 0 2
5 7 4 6 2 0
6}6,7min{},min{
4}4,5min{},min{
3}4,3min{},min{
35155)13(
34144)13(
32122)13(
ddd
ddd
ddd
Dman (13) 2 4 5
(13) 0 3 4 6
2 3 0 4 4
4 4 4 0 2
5 6 4 2 0
2)min()min( 45 dDman
Contoh Studi Kasus (Cont.) Dengan menghapus baris-baris dan kolom-kolom matrik jarak yang bersesuaian
dengan kelompok 1 dan 3, serta menambahkan baris dan kolom untuk kelompok(13).
Selanjutnya dipilih jarak dua kelompok yang terkecil.
Menghitung jarak antar kelompok (4 dan 5) dengan kelompok lain yang tersisa,yaitu (13) dan 2.
Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok 4 dan 5,serta menambahkan baris dan kolom untuk kelompok (45)
Dman 1 2 3 4 5
1 0 3 1 5 7
2 3 0 4 4 4
3 1 4 0 4 6
4 5 4 4 0 2
5 7 4 6 2 0
4}4,4min{},min{
4}6,7,4,5min{},,,min{
52422)45(
53514341)13)(45(
ddd
ddddd
Dman (13) 2 4 5
(13) 0 3 4 6
2 3 0 4 4
4 4 4 0 2
5 6 4 2 0
2)min()min( 45 dDman
Contoh Studi Kasus (Cont.) Selanjutnya dipilih jarak dua kelompok yang terkecil.
terpilih kelompok (13) dan 2, sehingga kedua kelompok ini
digabungkan. (Melanjutkan pengelompokan).
Menghitung jarak antar kelompok ((13) dan 2) dengan kelompok lain yang tersisa,
yaitu (45).
Dman (13) 2 4 5
(13) 0 3 4 6
2 3 0 4 4
4 4 4 0 2
5 6 4 2 0
Dman (45) (13) 2
(45) 0 4 4
(13) 4 0 3
2 4 3 0
3)min()min( 2)13( dDman
Contoh Studi Kasus (Cont.) Menghitung jarak antar kelompok ((13) dan 2) dengan kelompok lain yang tersisa, yaitu
(45).
Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok (13) dan 2, serta
menambahkan baris dan kolom untuk kelompok (123)
Jadi kelompok (132) dan (45) digabung untuk menjadi kelompok tunggal dari lima data,
yaitu kelompok (13245) dengan jarak terdekat 4.
4}4,4,6,4,7,5min{},,,,,min{ 252435341514)45)(132( ddddddd
Dman (13) 2 4 5
(13) 0 3 4 6
2 3 0 4 4
4 4 4 0 2
5 6 4 2 0
Dman (45) (13) 2
(45) 0 4 4
(13) 4 0 3
2 4 3 0
Dman 1 2 3 4 5
1 0 3 1 5 7
2 3 0 4 4 4
3 1 4 0 4 6
4 5 4 4 0 2
5 7 4 6 2 0
Dman (132) (45)
(132) 0 4
(45) 4 0
Contoh Studi Kasus (Cont.) Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok (13) dan 2, serta
menambahkan baris dan kolom untuk kelompok (132)
Jadi kelompok (132) dan (45) digabung untuk menjadi kelompok tunggal dari lima data,
yaitu kelompok (13245) dengan jarak terdekat 4. Berikut Dendogram Hasil Metode Single
Linkage :
Dman (13) 2 4 5
(13) 0 3 4 6
2 3 0 4 4
4 4 4 0 2
5 6 4 2 0
Dman (45) (13) 2
(45) 0 4 4
(13) 4 0 3
2 4 3 0
Dman 1 2 3 4 5
1 0 3 1 5 7
2 3 0 4 4 4
3 1 4 0 4 6
4 5 4 4 0 2
5 7 4 6 2 0
Dman (132) (45)
(132) 0 4
(45) 4 0
1 3 2 4 5 Data
J
a
r
a
k 1
2
3
4
Contoh Studi Kasus (Cont.) Menggunakan Metode Complete Linkage :
Dengan memperlakukan data sebagai kelompok, selanjutnya kita pilih jarak
dua kelompok yang terkecil.
terpilih kelompok 1 dan 3, sehingga kedua kelompok ini
digabungkan. (Melanjutkan pengelompokan).
Menghitung jarak antar kelompok (1 dan 3) dengan kelompok lain yang tersisa, yaitu 2, 4 dan
5.
Dman 1 2 3 4 5
1 0 3 1 5 7
2 3 0 4 4 4
3 1 4 0 4 6
4 5 4 4 0 2
5 7 4 6 2 0
1)min()min( 13 dDman
7}6,7max{},max{
5}4,5max{},max{
4}4,3max{},max{
35155)13(
34144)13(
32122)13(
ddd
ddd
ddd
Contoh Studi Kasus (Cont.) Menghitung jarak antar kelompok (1 dan 3) dengan kelompok lain yang tersisa, yaitu 2, 4
dan 5.
Dengan menghapus baris-baris dan kolom-kolom matrik jarak yang bersesuaian dengan
kelompok 1 dan 3, serta menambahkan baris dan kolom untuk kelompok (13).
Selanjutnya dipilih jarak dua kelompok yang terkecil.
Dman 1 2 3 4 5
1 0 3 1 5 7
2 3 0 4 4 4
3 1 4 0 4 6
4 5 4 4 0 2
5 7 4 6 2 0
7}6,7max{},max{
5}4,5max{},max{
4}4,3max{},max{
35155)13(
34144)13(
32122)13(
ddd
ddd
ddd
Dman (13) 2 4 5
(13) 0 4 5 7
2 4 0 4 4
4 5 4 0 2
5 7 4 2 0
2)min()min( 45 dDman
Contoh Studi Kasus (Cont.) Dengan menghapus baris-baris dan kolom-kolom matrik jarak yang bersesuaian dengan
kelompok 1 dan 3, serta menambahkan baris dan kolom untuk kelompok (13).
Selanjutnya dipilih jarak dua kelompok yang terkecil.
Menghitung jarak antar kelompok (4 dan 5) dengan kelompok lain yang tersisa, yaitu (13)
dan 2.
Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok 4 dan 5, serta
menambahkan baris dan kolom untuk kelompok (45)
Dman 1 2 3 4 5
1 0 3 1 5 7
2 3 0 4 4 4
3 1 4 0 4 6
4 5 4 4 0 2
5 7 4 6 2 0
4}4,4max{},max{
7}6,7,4,5max{},,,max{
52422)45(
53514341)13)(45(
ddd
ddddd
Dman (13) 2 4 5
(13) 0 4 5 7
2 4 0 4 4
4 5 4 0 2
5 7 4 2 0
2)min()min( 45 dDman
Contoh Studi Kasus (Cont.) Menghitung jarak antar kelompok (4 dan 5) dengan kelompok lain yang tersisa, yaitu (13) dan 2.
Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok 4 dan 5, serta
menambahkan baris dan kolom untuk kelompok (45)
Selanjutnya dipilih jarak dua kelompok yang terkecil.
terpilih kelompok (45) dan 2, sehingga kedua kelompok ini
digabungkan. (Melanjutkan pengelompokan).
Menghitung jarak antar kelompok ((45) dan 2) dengan kelompok lain yang tersisa, yaitu (13).
4}4,4max{},max{
7}6,7,4,5max{},,,max{
52422)45(
53514341)13)(45(
ddd
ddddd
Dman (13) 2 4 5
(13) 0 4 5 7
2 4 0 4 4
4 5 4 0 2
5 7 4 2 0
Dman (45) (13) 2
(45) 0 7 4
(13) 7 0 4
2 4 4 0
4)min()min( 2)45( dDman
Contoh Studi Kasus (Cont.) Menghitung jarak antar kelompok ((45) dan 2) dengan kelompok lain yang tersisa, yaitu
(13).
Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok (45) dan 2, serta
menambahkan baris dan kolom untuk kelompok (452)
Jadi kelompok (452) dan (13) digabung untuk menjadi kelompok tunggal dari lima data,
yaitu kelompok (13452) dengan jarak terdekat 7.
7}4,3,6,7,4,5max{},,,,,max{ 232153514341)13)(452( ddddddd
Dman (13) 2 4 5
(13) 0 4 5 7
2 4 0 4 4
4 5 4 0 2
5 7 4 2 0
Dman (45) (13) 2
(45) 0 7 4
(13) 7 0 4
2 4 4 0
Dman 1 2 3 4 5
1 0 3 1 5 7
2 3 0 4 4 4
3 1 4 0 4 6
4 5 4 4 0 2
5 7 4 6 2 0
Dman (452) (13)
(452) 0 7
(13) 7 0
Contoh Studi Kasus (Cont.) Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok (45) dan 2, serta
menambahkan baris dan kolom untuk kelompok (452)
Jadi kelompok (452) dan (13) digabung untuk menjadi kelompok tunggal dari lima data,
yaitu kelompok (13452) dengan jarak terdekat 7. Berikut Dendogram Hasil Metode
Complete Linkage :
Dman (13) 2 4 5
(13) 0 4 5 7
2 4 0 4 4
4 5 4 0 2
5 7 4 2 0
Dman (45) (13) 2
(45) 0 7 4
(13) 7 0 4
2 4 4 0
Dman 1 2 3 4 5
1 0 3 1 5 7
2 3 0 4 4 4
3 1 4 0 4 6
4 5 4 4 0 2
5 7 4 6 2 0
Dman (452) (13)
(452) 0 7
(13) 7 0
1 3 4 5 2 Data
J
a
r
a
k 1
2
4
7
Contoh Studi Kasus (Cont.) Menggunakan Metode Average Linkage :
Dengan memperlakukan data sebagai kelompok, selanjutnya kita pilih jarak
dua kelompok yang terkecil.
terpilih kelompok 1 dan 3, sehingga kedua kelompok ini
digabungkan. (Melanjutkan pengelompokan).
Menghitung jarak antar kelompok (1 dan 3) dengan kelompok lain yang tersisa, yaitu 2, 4 dan
5.
Dman 1 2 3 4 5
1 0 3 1 5 7
2 3 0 4 4 4
3 1 4 0 4 6
4 5 4 4 0 2
5 7 4 6 2 0
1)min()min( 13 dDman
5.62/)67(}6,7{},{
5.42/)45(}4,5{},{
5.32/)43(}4,3{},{
35155)13(
34144)13(
32122)13(
averageddaveraged
averageddaveraged
averageddaveraged
5.62/)67(}6,7{},{
5.42/)45(}4,5{},{
5.32/)43(}4,3{},{
35155)13(
34144)13(
32122)13(
averageddaveraged
averageddaveraged
averageddaveraged
Contoh Studi Kasus (Cont.) Menghitung jarak antar kelompok (1 dan 3) dengan kelompok lain yang tersisa, yaitu 2, 4
dan 5.
Dengan menghapus baris-baris dan kolom-kolom matrik jarak yang bersesuaian dengan
kelompok 1 dan 3, serta menambahkan baris dan kolom untuk kelompok (13).
Selanjutnya dipilih jarak dua kelompok yang terkecil.
Dman 1 2 3 4 5
1 0 3 1 5 7
2 3 0 4 4 4
3 1 4 0 4 6
4 5 4 4 0 2
5 7 4 6 2 0
Dman (13) 2 4 5
(13) 0 3.5 4.5 6.5
2 3.5 0 4 4
4 4.5 4 0 2
5 6.5 4 2 0
2)min()min( 45 dDman
Contoh Studi Kasus (Cont.) Dengan menghapus baris-baris dan kolom-kolom matrik jarak yang bersesuaian dengan
kelompok 1 dan 3, serta menambahkan baris dan kolom untuk kelompok (13).
Selanjutnya dipilih jarak dua kelompok yang terkecil.
Menghitung jarak antar kelompok (4 dan 5) dengan kelompok lain yang tersisa, yaitu (13)
dan 2.
Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok 4 dan 5, serta
menambahkan baris dan kolom untuk kelompok (45)
Dman 1 2 3 4 5
1 0 3 1 5 7
2 3 0 4 4 4
3 1 4 0 4 6
4 5 4 4 0 2
5 7 4 6 2 0
42/)44(}4,4{},{
25.54/)6745(}6,7,4,5{},,,{
52422)45(
53514341)13)(45(
averageddaveraged
averageddddaveraged
Dman (13) 2 4 5
(13) 0 3.5 4.5 6.5
2 3.5 0 4 4
4 4.5 4 0 2
5 6.5 4 2 0
2)min()min( 45 dDman
42/)44(}4,4{},{
25.54/)6745(}6,7,4,5{},,,{
52422)45(
53514341)13)(45(
averageddaveraged
averageddddaveraged
Contoh Studi Kasus (Cont.) Menghitung jarak antar kelompok (4 dan 5) dengan kelompok lain yang tersisa, yaitu (13) dan 2.
Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok 4 dan 5, sertamenambahkan baris dan kolom untuk kelompok (45)
Selanjutnya dipilih jarak dua kelompok yang terkecil.
terpilih kelompok (13) dan 2, sehingga kedua kelompok ini
digabungkan. (Melanjutkan pengelompokan).
Menghitung jarak antar kelompok ((13) dan 2) dengan kelompok lain yang tersisa, yaitu (45).
Dman (13) 2 4 5
(13) 0 3.5 4.5 6.5
2 3.5 0 4 4
4 4.5 4 0 2
5 6.5 4 2 0
Dman (45) (13) 2
(45) 0 5.25 4
(13) 5.25 0 3.5
2 4 3.5 0
5.3)min()min( 2)13( dDman
Contoh Studi Kasus (Cont.) Menghitung jarak antar kelompok ((13) dan 2) dengan kelompok lain yang tersisa, yaitu
(45).
Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok (45) dan 2, sertamenambahkan baris dan kolom untuk kelompok (452)
Jadi kelompok (132) dan (45) digabung untuk menjadi kelompok tunggal dari lima data,yaitu kelompok (13245) dengan jarak terdekat 5.
56/)446475(}4,4,6,4,7,5{},,,,,{ 252435341514)45)(132( averageddddddaveraged
Dman (13) 2 4 5
(13) 0 3.5 4.5 6.5
2 3.5 0 4 4
4 4.5 4 0 2
5 6.5 4 2 0
Dman (45) (13) 2
(45) 0 5.25 4
(13) 5.25 0 3.5
2 4 3.5 0
Dman 1 2 3 4 5
1 0 3 1 5 7
2 3 0 4 4 4
3 1 4 0 4 6
4 5 4 4 0 2
5 7 4 6 2 0
Dman (132) (45)
(132) 0 5
(45) 5 0
Contoh Studi Kasus (Cont.) Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok (45) dan 2, serta
menambahkan baris dan kolom untuk kelompok (452)
Jadi kelompok (132) dan (45) digabung untuk menjadi kelompok tunggal dari lima data,
yaitu kelompok (13245) dengan jarak terdekat 5. Berikut Dendogram Hasil Metode
Average Linkage :
Dman (13) 2 4 5
(13) 0 3.5 4.5 6.5
2 3.5 0 4 4
4 4.5 4 0 2
5 6.5 4 2 0
Dman (45) (13) 2
(45) 0 5.25 4
(13) 5.25 0 3.5
2 4 3.5 0
Dman 1 2 3 4 5
1 0 3 1 5 7
2 3 0 4 4 4
3 1 4 0 4 6
4 5 4 4 0 2
5 7 4 6 2 0
Dman (132) (45)
(132) 0 5
(45) 5 0
1 3 2 4 5 Data
J
a
r
a
k 1
2
3
4
5
Similarity
Dengan menggunakan Singgle Linkage cari anggota setiap cluster
dari
A= 1 0 1 1
B= 1 1 0 0
C= 1 1 0 1
D= 0 1 0 1
E= 1 1 1 1
Jadikan 3 cluster dengan menggunakan Similarity SMC
Contoh Similarity A dan B: a= 1, b= 2, c=1 d= 0
SMC AB = (a+d)/(a+b+c+d)= ¼=0.25
Selesai