Clustering_hirarki (tanpa narasi) (1).pptx

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Hierarchical Clustering
Disusun oleh : Nanik Suciati

Capaian Pembelajaran
Mahasiswa mampu menjelaskan algoritma clustering berbasis
hirarki agglomerative.

HIERARCHYCAL CLUSTERING
• Pengelompokan data
yang menghasilkan
serangkaian cluster
bersarang dan tersusun
seperti pohon hirarki
• Dapat divisualisasikan
menggunakan
dendogram
• Diagram berbentuk
seperti pohon (tree)
sehingga dapat
menyimpan urutan
penggabungan atau
pemisahan cluster
1 2 3 4 5
Dendrogram
Cluster bersarang
1
2
3
4
5

HIERARCHYCAL CLUSTERING
• Dua tipe hierarchical clustering
• Agglomerative:
• Mulai dari setiap titik (data) dianggap sebagai cluster
• Pada setiap tahap, dilakukan penggabungan sepasang cluster terdekat sampai tersisa satu cluster (atau sampai
tersisa k cluster)
• Divisive:
• Mulai dari satu cluster, semua titik (data) menjadi anggota cluster tersebut
• Pada setiap tahap, dilakukan pemisahan (split) satu cluster menjadi dua, sampai setiap cluster hanya berisi satu
data (atau sampai tersisa k cluster)
• Penggabungan atau pemisahan cluster dilakukan berdasarkan kemiripan (similarity) atau
jarak (distance)
• Matriks kemiripan (proximity matrix) menyimpan nilai kemiripan antar cluster (kemiripan=0, objek
sangat berbeda)
• Matriks jarak (distance matrix) menyimpan nilai jarak antar cluster (jarak=0, objek sangat mirip=sama)

Algoritma Clustering Agglomerative
• Algoritma
1. Setiap data adalah satu cluster, hitung matriks jarak
Ulang
2. Gabung dua cluster paling dekat
3. Perbarui matriks jarak
Sampai tersisa hanya satu cluster
• Beberapa pendekatan untuk menghitung jarak antara dua cluster
• Single link, complete link, group average, jarak centroid
• Pemilihan pendekatan perhitungan jarak menentukan hasil clustering

Ilustrasi Algoritma Clustering Agglomerative
 Terdapat 5 data, masing-
masing berupa suatu
wadah.
Jumlah balok
Jumlah
silinder
1
2
3
4
5
 Data tersebut diplot ke dalam ruang 2
dimensi menggunakan nilai atribut
jumlah balok dan jumlah silinder.
 2 data yang mirip  jaraknya dekat
0
d(2,1) 0
d(3,1) d(3,2) 0
d(4,1) d(4,2) d(4,3) 0
d(5,1) d(5,2) d(5,3) d(5,4) 0
 Disusun matriks jarak yang
menyimpan jarak Euclidean
antara setiap dua data
1 2 3 4 5
1
2
3
4
5

Ilustrasi Algoritma
Clustering
Agglomerative
Jumlah balok
Jumlah
silinder 1
2
3
4
5
0
d(2,1) 0
d(3,1) d(3,2) 0
d(4,1) d(4,2) d(4,3) 0
d(5,1) d(5,2) d(5,3) d(5,4) 0
1 2 3 4 5
1
2
3
4
5
𝑑 2, 1 = 2.0 − 1.0 2 + 3.0 − 2.0 2 = 1.41
0
1.41 0
2.24 1.00 0
2.24 2.24 3.16 0
2.00 1.41 2.24 1.00 0
1 2 3 4 5
1
2
3
4
5
𝑑 3, 1 = 2.0 − 1.0 2 + 4.0 − 2.0 2 = 2.24
𝑑 3, 2 = 2.0 − 2.0 2 + 4.0 − 3.0 2 = 1.00
𝑑 4, 1 = 3.0 − 1.0 2 + 1.0 − 2.0 2 = 2.24
𝑑 5, 4 = 3.0 − 3.0 2 + 2.0 − 1.0 2 = 1.00
.
.
.
 Terdapat 10 nilai jarak.

Ilustrasi Algoritma
Clustering
Agglomerative
Bottom-Up (agglomerative):
1. Dimulai dengan menjadikan
tiap objek sebagai satu
cluster.
2. Menentukan pasangan
terdekat untuk digabung
menjadi satu cluster.
Memperbarui matriks jarak.
3. Langkah 2 diulang sampai
semua cluster tergabung
menjadi satu.
Data 1 Data 2 Data 3 Data 4 Data 5
1
2
3
4
5

Gabung satu pasangan cluster
dengan nilai jarak terkecil dari
10 kemungkinan yang ada.
Iterasi 1
Perbarui matriks jarak. Data 2 Data 3
1
2
3
4
5
0
1.41 0
2.24 1.00 0
2.24 2.24 3.16 0
2.00 1.41 2.24 1.00 0
1 2 3 4 5
1
2
3
4
5
0
1.41 0
2.24 2.24 0
2.00 1.41 1.00 0
1 2,3 4 5
1
2,3
4
5

Iterasi 1
Iterasi 2
Perbarui matriks jarak.
1
2
3
4
5
0
1.41 0
2.24 2.24 0
2.00 1.41 1.00 0
1 2,3 4 5
1
2,3
4
5
0
1.41 0
2.24 1.41 0
1 2,3 4,5
1
2,3
4,5

Iterasi 1
Iterasi 2
Iterasi 3
1
2
3
4
5
0
1.41 0
2.24 1.41 0
1 2,3 4,5
1
2,3
4,5
0
1.41 0
1,2,3 4,5
1,2,3
4,5

Iterasi 1
Iterasi 2
Iterasi 3
0
1.41 0
1,2,3 4,5
1,2,3
4,5
1,2,3,4,5
1
2
3
4
5

cluster
 Pada iterasi 1 data 2 dan
data 3 digabung.
 Perbarui matriks jarak.
d( , ) = ??
d( , ) = ??
d( , ) = ??
0
1.41 0
2.24 1.00 0
2.24 2.24 3.16 0
2.00 1.41 2.24 1.00 0
0
?? 0
2.24 ?? 0
2.00 ?? 1.00 0
(𝑥1) (𝑥2) (𝑥3) (𝑥4) (𝑥5)
(𝑥2, 𝑥3)
(𝑥1) (𝑥4) (𝑥5)
Matriks jarak

0
1.41 0
2.24 1.00 0
2.24 2.24 3.16 0
2.00 1.41 2.24 1.00 0
0
?? 0
2.24 ?? 0
2.00 ?? 1.00 0
(𝑥1) (𝑥2) (𝑥3) (𝑥4) (𝑥5)
(𝑥2, 𝑥3)
(𝑥1) (𝑥4) (𝑥5)
𝑑 𝑥2, 𝑥3 , 𝑥1 = 𝑚𝑖𝑛 𝑑 𝑥2 , 𝑥1 , 𝑑 𝑥3 , 𝑥1 =1.41
𝑑 𝑥2, 𝑥3 , 𝑥4 = 𝑚𝑖𝑛 𝑑 𝑥2 , 𝑥4 , 𝑑 𝑥3 , 𝑥4 =2.24
𝑑 𝑥2, 𝑥3 , 𝑥5 = 𝑚𝑖𝑛 𝑑 𝑥2 , 𝑥5 , 𝑑 𝑥3 , 𝑥5 =1.41
cluster

0
1.41 0
2.24 1.00 0
2.24 2.24 3.16 0
2.00 1.41 2.24 1.00 0
0
1.41 0
2.24 2.24 0
2.00 1.41 1.00 0
(𝑥1) (𝑥2) (𝑥3) (𝑥4) (𝑥5)
(𝑥2, 𝑥3)
(𝑥1) (𝑥4) (𝑥5)
cluster
data 5 digabung.
 Perbarui matriks jarak.
0
1.41 0
?? ?? 0
(𝑥2,𝑥3)
(𝑥1) (𝑥4,𝑥5)
d((x1),(x4,x5))= ??
d((x2,x3),(x4,x5))= ??

0
1.41 0
2.24 1.00 0
2.24 2.24 3.16 0
2.00 1.41 2.24 1.00 0
0
1.41 0
?? ?? 0
(𝑥1) (𝑥2) (𝑥3) (𝑥4) (𝑥5)
(𝑥2, 𝑥3)
(𝑥1)
𝑑 𝑥1 , 𝑥4, 𝑥5 = 𝑚𝑖𝑛 𝑑 𝑥1 , 𝑥4 , 𝑑 𝑥1 , 𝑥5 =2.00
𝑑 𝑥2, 𝑥3 , 𝑥4, 𝑥5 = 𝑚𝑖𝑛 𝑑 𝑥2 , 𝑥4 , 𝑑 𝑥2 , 𝑥5 , 𝑑 𝑥3 , 𝑥4 , 𝑑 𝑥3 , 𝑥5 =1.41
(𝑥4, 𝑥5)
cluster

0
1.41 0
2.24 1.00 0
2.24 2.24 3.16 0
2.00 1.41 2.24 1.00 0
(𝑥1) (𝑥2) (𝑥3) (𝑥4) (𝑥5)
cluster
data (2,3) digabung.
0
1.41 0
2.00 1.41 0
(𝑥2,𝑥3)
(𝑥1) (𝑥4,𝑥5)
0
1.41 0
(𝑥1, 𝑥2, 𝑥3) (𝑥4, 𝑥5)
Gabung
Selesai

Menghitung jarak antar cluster
 MIN
 MAX
 Group Average
 Jarak centroid
 Metode lain menggunakan fungsi objektif
– Metode Ward menggunakan kuadrat jarak
Jarak?
Kemiripan?

 MIN
 MAX
 Group Average
 Jarak centroid
 Metode lain menggunakan fungsi
objektif
– Metode Ward menggunakan jarak kuadrat
𝑗𝑎𝑟𝑎𝑘 𝐶1, 𝐶2 = min 𝑗𝑎𝑟𝑎𝑘 𝑃1𝑖, 𝑃2𝑗

 MIN
 MAX
 Group Average
 Jarak centroid
objektif
𝑗𝑎𝑟𝑎𝑘 𝐶1, 𝐶2 = max 𝑗𝑎𝑟𝑎𝑘 𝑃1𝑖, 𝑃2𝑗

 MIN
 MAX
 Group Average
 Jarak centroid
objektif
𝑗𝑎𝑟𝑎𝑘 𝐶1, 𝐶2 = 𝑗𝑎𝑟𝑎𝑘 𝑃𝑖, 𝑃𝑗 / 𝐶1 * 𝐶2

 MIN
 MAX
 Group Average
 Jarak centroid
objektif
 

Jarak antar Cluster: MIN atau Single
Link
• Jarak dua cluster diwakili oleh jarak terdekat antara dua titik pada
cluster yang berbeda.
0
0.10 0
0.90 0.30 0
0.35 0.40 0.60 0
0.80 0.50 0.70 0.20 0
(𝑥2) (𝑥3) (𝑥4) (𝑥5)
(𝑥1)
1 2 3 4 5
Dendrogram
Nested Clusters

Jarak antar Cluster : MIN atau Single
Link
• Kekuatan Min atau Single Link
• Dapat mengelompokkan kumpulan data berbentuk non-elips dengan baik, jika jarak antar
cluster tidak terlalu dekat.
Original Points
Two Clusters
Original Points Two Clusters

Jarak antar Cluster : MIN atau Single
Link
• Kelemahan Min atau Single Link
• Tidak dapat memisahkan kumpulan data dengan baik jika terdapat noise dan
outlier.

Jarak antar Cluster: MAX atau
Complete Link
• Jarak dua cluster diwakili oleh jarak terjauh antara dua titik pada
cluster yang berbeda.
0
0.10 0
0.90 0.30 0
0.35 0.40 0.60 0
0.80 0.50 0.70 0.20 0
(𝑥2) (𝑥3) (𝑥4) (𝑥5)
(𝑥1)
1 2 3 4 5
Dendrogram
Nested Clusters

Jarak antar Cluster : MAX atau Complete
Link
• Kekuatan Max atau Complete Link
• Dapat memisahkan kumpulan data dengan baik meski terdapat noise dan
outlier.

Jarak antar Cluster : MAX atau Complete
Link
• Kelemahan Max atau Complete Link
• Memiliki kecenderungan memecah cluster yang besar

Jarak antar Cluster: Group Average
• Jarak dua cluster diwakili oleh rata-rata jarak antara titik-titik pada cluster yang
berbeda.
• Tidak terlalu sensitif dengan noise dan outlier.
Dendrogram
Nested Clusters
0
0.10 0
0.90 0.30 0
0.35 0.40 0.60 0
0.80 0.50 0.70 0.20 0
(𝑥2) (𝑥3) (𝑥4) (𝑥5)
(𝑥1)
1 2 3 4 5

Jarak antar Cluster : Metode Ward
• Jarak dua cluster didasarkan pada nilai jarak kuadrat ketika dua
cluster digabung
• Mirip dengan group average hanya saja jarak antar titik adalah jarak kuadrat
• Tidak terlalu sensitif terhadap noise dan outlier
𝑗𝑎𝑟𝑎𝑘 𝐶1, 𝐶2 = 𝑗𝑎𝑟𝑎𝑘 𝑃𝑖, 𝑃𝑗
2
/ 𝐶1 * 𝐶2

Clustering Hirarki: Perbandingan
Group Average
Ward’s Method
1
2
3
4
5
6
1
2
5
3
4
MIN
1
2
3
4
5
6
1
2
5
3
4
1
2
3
4
5
6
1
2 5
3
4
1
2
3
4
5
6
1
2
3
4
5
MAX

Fakta tentang hierarchical clustering
 Tidak perlu menentukan jumlah cluster di awal
 Menghasilkan dendogram yang dapat membantu memahami data

Validasi hasil clustering
Kebutuhan validasi hasil clustering
 Evaluasi
 Mengevaluasi kualitas (seberapa baik) hasil clustering
 Stabilitas
 Mengetahui sensitivitas hasil clustering terhadap parameter algortima, misalnya jumlah cluster
 Tendensi
 Menilai kesesuaian hasil clustering, misalnya apakah data memiliki karakteristik pengelompokan
tertentu

Mengevaluasi kualitas hasil clustering
 Internal
 Menggunakan informasi internal, seberapa compact dan separated cluster-cluster yang dihasilkan
 Silhouette coefficient
 Eksternal
 Membandingkan hasil clustering dengan label kelas eksternal yang tersedia (ground truth)
 Entropy, purity, F-measure
 Relatif
 Membandingkan dua hasil clustering, misalnya yang didapat dari satu algoritma yang sama dengan nilai
parameter (k, centroid awal) yang berbeda
 SSE atau entropy
 Digunakan untuk menentukan hasil clustering optimal, misalnya dengan memvariasikan nilai parameter jumlah
cluster k, posisi awal centroid

Silhouette coefficient
 Silhouette dapat memberikan representasi grafis yang ringkas tentang seberapa baik setiap objek telah
dikelompokkan.
 Nilai silhouette adalah ukuran seberapa mirip suatu objek dengan clusternya sendiri (kohesi) dibandingkan
dengan cluster lain.
 Nilai silhouette berkisar antara −1 hingga +1. Nilai 1 menyatakan hasil terbaik dimana suatu data sangat
compact dengan data lain pada cluster yang sama dan jauh dari cluster-cluster lain.
 Silhouette dapat dihitung dengan rumus jarak apa pun, seperti jarak Euclidean atau jarak Manhattan.
 Jika sebagian besar objek memiliki nilai silhouette tinggi, maka hasil clustering sudah baik.
 Jika banyak objek memiliki nilai silhouette rendah atau negatif, maka hasil clustering masih kurang baik,
mungkin memiliki terlalu banyak atau terlalu sedikit jumlah cluster.

Silhouette coefficient
 Silhouette coefficient dari setiap data x dari hasil clustering dapat dihitung dengan :
𝑠 𝑥 =
𝑏 𝑥 − 𝑎(𝑥)
max{𝑎 𝑥 , 𝑏(𝑥)}
 a(x) adalah rata−rata jarak antara x dan semua data lain pada cluster yang sama
 b(x) adalah minimum rata−rata jarak antara x dengan semua cluster yang lain
 𝑈𝑛𝑡𝑢𝑘 𝑠𝑒𝑡𝑖𝑎𝑝 𝑑𝑎𝑡𝑎 𝑥 ∈ 𝐶𝑥 𝑑𝑎𝑡𝑎 𝑥 𝑎𝑛𝑔𝑔𝑜𝑡𝑎 𝑐𝑙𝑢𝑠𝑡𝑒𝑟 𝐶𝑥
𝑎 𝑥 =
1
𝐶𝑥 −1 𝑗∈𝐶𝑥,𝑥≠𝑦 𝑑 𝑥, 𝑦 dan 𝑏 𝑥 = min
𝑧≠𝑥
1
𝐶𝑧
𝑦∈𝐶𝑧
𝑑 𝑥, 𝑦

coefficient

Clustering_hirarki (tanpa narasi) (1).pptx

More Related Content

What's hot (20)

Similar to Clustering_hirarki (tanpa narasi) (1).pptx (14)

More from nyomans1 (20)

Recently uploaded (20)

Clustering_hirarki (tanpa narasi) (1).pptx

Editor's Notes