Support Vector Machine.pptx

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Support Vector
Machine
Kecerdasan
Komputasional
Dini Adni Navastara

Capaian Pembelajaran
Mahasiswa mampu menjelaskan konsep klasifier dengan fungsi
diskriminan linear maupun non-linear

Linear Classifiers
Bagaimana
mengklasifikasikan data ini?
kelas +1
kelas -1

Linear Classifiers
Yang mana yang terbaik?
(Hyperplane terbaik)?
kelas +1
kelas -1

Classifiers Margin
Definisikan margin/batas linear classifier
sebagai lebarnya dimana batas tersebut
dapat dimaksimalkan sebelum mencapai
titik data
kelas +1
kelas -1
Hyperplane
Ide dasar SVM: memaksimalkan distance (jarak) antara
hyperplane dan titik sampel terdekat

Linear SVM secara
Matematis
Dimana,
M: Margin
w: bobot
x+: support vector kelas +1
x-: support vector kelas -1

Problem Optimasi
• {𝑥1, ..., 𝑥𝑛} adalah data set dan 𝑦𝑖 ∈ {1, −1} adalah kelas label dari 𝒙𝒊
• Batas keputusan harus dapat mengklasifikasi semua titik dengan benar
• Problem optimasi terbatas
meminimalkan
dimana

Problem Optimasi
• Kita dapat mengubah problem menjadi bentuk dual
dimana
• Problem quadratic programming (QP)
• Global maximum pada 𝛼𝑖 dapat selalu ditemukan
• 𝒘 dapat diperbaiki menjadi

Karakteristik Solusi
• Kebanyakan nilai 𝛼𝑖 adalah nol
• 𝒙𝒊 dengan nilai 𝛼𝑖 positif disebut sebagai support vectors (SV)
• Batas keputusan ditentukan oleh SV
• Let tj (j=1, ..., s) adalah indeks dari SV
• Untuk testing dengan data baru (𝒛)
• Hitung
• Dan klasifikasikan 𝒛 sebagai kelas 1 jika jumlahnya positif,
selain itu diklasifikasikan sebagai kelas 2

Interpretasi Geometri

Tidak dapat Dipisahkan secara Linier?
• Memperbolehkan adanya error () pada klasifikasi
Bagaimana jika titik
sampel tidak dapat
dipisahkan secara
linier?

Soft Margin Hyperplane
• Definisikan i=0 jika tidak ada error untuk 𝒙𝒊
• i adalah variabel untuk mendefinisikan nilai error
• Minimalkan
• C : tradeoff parameter antara error dan margin
• Problem optimasi menjadi
meminimalkan
dimana

Soft Margin Hyperplane
Nilai C berperan dalam mengontrol overfitting.
• C besar  lebih sedikit sampel training yang berada di posisi yang tidak ideal (artinya lebih sedikit error,
sehingga berdampak positif pada kinerja classifier)  C terlalu besar menyebabkan overfitting
• C kecil  lebih banyak sampel training yang tidak berada pada posisi ideal (artinya akan banyak error
training sehingga berdampak negatif pada kinerja classifier)  C terlalu kecil menyebabkan underfitting
- Menemukan nilai yang tepat untuk C menjadi salah satu masalah dalam SVM

Permasalahan Non-linear
• Ide: transformasi 𝒙𝒊 ke ruang berdimensi lebih tinggi untuk
memudahkan perhitungan
• Ruang Input : ruang 𝒙𝒊
• Ruang Fitur: ruang 𝜙(𝒙𝒊) setelah transformasi
• Mengapa perlu transformasi?
• Operasi linear pada ruang fitur ekivalen dengan operasi non-linear pada
ruang input
• Proses klasifikasi lebih mudah dilakukan dengan transformasi.
Contoh: XOR

Dimensi Tinggi
• Proyeksikan data ke ruang berdimensi tinggi agar data-data tersebut
dapat dipisahkan secara linear dan dapat menggunakan linear SVM –
(Using Kernels)
Data dari R1 ditransformasi ke R2

Problem XOR

Permasalahan Non-linear
• Kemungkinan problem transformasi
• Komputasi yang tinggi dan sulit memperoleh
estimasi bagus
• SVM menyelesaikan masalah ini secara
bersamaan
• Kernel tricks untuk komputasi yg efisien
• Meminimalkan 𝒘 𝟐 dapat menghasilkan
classifier yang baik
Feature space
Input space
Φ: x → φ(x)

Kernel Trick
• Hubungan antara fungsi kernel K dan mapping 𝜙(. )
𝑲 𝒙, 𝒚 = 𝜙 𝒙 , 𝜙(𝒚)
• Disebut sebagai kernel trick
• Secara intuitif, 𝑲 𝒙, 𝒚 merepresentasikan kemiripan antara data 𝒙
dan 𝒚, dan ini diperoleh dari pengetahuan sebelumnya

Jenis-jenis Fungsi Kernel
No Nama Kernel Definisi Fungsi
1 Linier K(x,y) = x.y
2 Polinomial of degree d K(x,y) = (x.y)d
3 Polinomial of degree up to d K(x,y) = (x.y + c)d
4 Gaussian RBF
5 Sigmoid (Tanh Hiperbolik)

Contoh
• Contoh SVM Linier pada dataset berikut :
Tentukan Hyperplanenya !
• Bentuk Visualisasi data :
x1 x2 Kelas (y) Support Vector (SV)
1 1 1 1
1 -1 -1 1
-1 1 -1 1
-1 -1 -1 0
-2
-1
0
1
2
-2 -1 0 1 2

Contoh
• Contoh SVM Linier :
• Karena ada dua fitur (x1 dan x2), maka w juga akan memiliki 2 fitur (w1 dan w2).
• Formulasi yang digunakan adalah sebagai berikut :
• Meminimalkan nilai :
• Syarat :
x1 x2 Kelas (y)
1 1 1
1 -1 -1
-1 1 -1
-1 -1 -1 -2
-1
0
1
2
-2 -1 0 1 2

Contoh
• Karena ada dua fitur (x1 dan x2), maka w juga akan memiliki 2 fitur (w1 dan w2).
• Formulasi yang digunakan adalah sebagai berikut :
• Meminimalkan nilai margin :
1
2
𝑤 2
=
1
2
(𝑤1
2
+ 𝑤2
2
)
• Syarat :
𝑦𝑖 𝑤. 𝑥𝑖 + 𝑏 ≥ 1, 𝑑𝑖𝑚𝑎𝑛𝑎 𝑖 = 1,2,3, … , 𝑁
𝑦𝑖 𝑤1. 𝑥1 + 𝑤2. 𝑥2 + 𝑏 ≥ 1
Sehingga didapatkan beberapa persamaan berikut :
1. 𝑤1 + 𝑤2 + 𝑏 ≥ 1, 𝑢𝑛𝑡𝑢𝑘 𝑦1 = 1, 𝑥1 = 1, 𝑥2 = 1
2. −𝑤1 + 𝑤2 − 𝑏 ≥ 1, 𝑢𝑛𝑡𝑢𝑘 𝑦2 = −1, 𝑥1 = 1, 𝑥2 = −1
3. 𝑤1 − 𝑤2 − 𝑏 ≥ 1, 𝑢𝑛𝑡𝑢𝑘 𝑦3 = −1, 𝑥1 = −1, 𝑥2 = 1
4. 𝑤1 + 𝑤2 − 𝑏 ≥ 1, 𝑢𝑛𝑡𝑢𝑘 𝑦4 = −1, 𝑥1 = −1, 𝑥2 = −1

Contoh
• Dari 4 persamaan berikut, carilah nilai 𝑤1, 𝑤2 dan b
1. 𝑤1 + 𝑤2 + 𝑏 ≥ 1
2. −𝑤1 + 𝑤2 − 𝑏 ≥ 1
3. 𝑤1 − 𝑤2 − 𝑏 ≥ 1
4. 𝑤1 + 𝑤2 − 𝑏 ≥ 1
Tahap 1: Jumlahkan persamaan (1) dan (2)
Tahap 2: Jumlahkan persamaan (1) dan (3):
Tahap 3: Jumlahkan persamaan (1) dan (3):
Tahap 4: didapatkan persamaan hyperplane
𝑤1. 𝑥1 + 𝑤2. 𝑥2 + 𝑏 = 0
𝑥1 + 𝑥2 + 1 = 0
𝑥2 = 1 − 𝑥1

Contoh

Kelebihan dan Kekurangan
Training relatif mudah
•tidak mengalami local optimal, tidak seperti pada neural networks
Relatif baik untuk data berdimensi tinggi
Tradeoff antara kompleksitas classifier dan kesalahan dapat
dikontrol secara eksplisit
Data non-tradisional seperti string dan tree dapat digunakan
sebagai input ke SVM, bukan vektor fitur
Membutuhkan fungsi
kernel yang bagus
KEKURANGAN

SVM vs Neural Networks
SVM
Konsep yang relatif baru
Sifat generalisasi yang bagus
Sulit untuk dipelajari  teknik QP (Quadratic
Programming)
Menggunakan kernel, dapat mempelajari fungsi
yang sangat kompleks
ANN
Men-generalisasi dengan baik tetapi tidak
memiliki dasar matematika
Dapat dengan mudah dipelajari secara bertahap
Untuk mempelajari fungsi kompleks  gunakan
struktur multi layer yang kompleks.

Referensi
• http://www.cs.cmu.edu/~awm/tutorials
• http://bio.img.cas.cz/zikar
• http://www.cise.ufl.edu/class/cis4930sp11dtm/notes/intro_svm_new.pdf
• Introduction to Support Vector Machines (SVM), By Debprakash Patnaik M.E (SSA)

Support Vector Machine.pptx

More Related Content

What's hot (20)

Similar to Support Vector Machine.pptx (20)

More from Eri Zuliarso (8)

Support Vector Machine.pptx

Editor's Notes