Support Vector Machine
1 like3,661 views
Support Vector Machine (SVM) adalah metode klasifikasi yang dikembangkan oleh Boser, Guyon, dan Vapnik pada tahun 1992, yang berfokus pada pencarian hyperplane optimal untuk memisahkan dua kelas data dengan memaksimalkan margin. SVM memiliki variasi, termasuk soft-margin untuk mengizinkan kesalahan dalam klasifikasi dan non-linear SVM yang menggunakan fungsi kernel untuk pemisahan non-linear. Meskipun SVM tidak terjebak dalam local optima dan dapat menangani dimensi tinggi, pemilihan fungsi kernel yang tepat menjadi tantangan.
Support Vector Machine
- 1. Support Vector Machine Randy C. Wihandika Teknik Informatika Institut Teknologi Sepuluh Nopember Surabaya
- 2. Support Vector Machine Dikembangkan oleh B. E. Boser, I. M. Guyon, dan V. N. Vapnik pada 1992 dan dipresentasikan di Fifth Annual Workshop of Computational Learning Theory Digunakan untuk pengenalan tulisan tangan
- 3. Decision Boundary Pemisah antara dua kelas Banyak decision boundary yang dapat dibuat antara dua kelas Dapat dicari menggunakan algoritma perceptron, e.g. neural network SVM Mencari hyperplane yang paling optimal
- 4. Support Vector Machine Decision boundary harus sejauh mungkin dari kedua kelas Harus memaksimalkan margin
- 5. Support Vector Machine Data: Optimasi: (constrained optimization problem)
- 6. Constrained Optimization Misal: minimalkan f(x) dengan constrain g(x) = 0 留: Lagrange multiplier Untuk banyak constrain: Lagrangian
- 7. Support Vector Machine Optimasi: Minimalkan w dan b, maksimalkan 留 (Lagrangian):
- 10. Soft-margin SVM Memperbolehkan "error" pada klasifikasi Menggunakan variabel slack 両
- 11. Soft-margin SVM Minimalkan: C: tradeoff antara error dan margin Minimalkan w, b, dan 両, maksimalkan 留:
- 12. Soft-margin SVM Diferensialkan: Selanjutnya sama dengan proses hard- margin SVM
- 13. Non-linear SVM Memisahkan dua kelas secara non-linier Ide: Petakan data ke ruang yang berdimensi lebih tinggi Klasifikasi secara linier Fungsi yang memetakan: kernel function 个 Input space: ruang asal data Feature space: ruang data setelah transformasi Contoh: Input Space Feature Space (1D) (2D) xi 个 个(xi2)
- 14. Non-linear SVM
- 15. Kernel Functions Polynomial Radial basis function (RBF) Sigmoidal
- 16. Overfitting Terjadi jika data dipetakan ke dimensi yang sangat tinggi
- 17. Support Vector Machine Kelebihan: Tidak terjebak pada local optima Dapat mengklasifikasi data berdimensi tinggi Kekurangan: Harus memilih kernel function yang cocok
- 18. Conclusion SVM adalah alternatif yang baik dari neural network Konsep penting dalam SVM: Memaksimalkan margin Penggunaan kernel function
- 19. Selesai.