Dkc 2 kelompok 2
- 2. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI NAMA KELOMPOKNAMA KELOMPOKNAMA KELOMPOKNAMA KELOMPOK
- 3. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI SEJARAH ADALINESEJARAH ADALINESEJARAH ADALINESEJARAH ADALINE 油 ADALINE (Adaptive Linear Neuron) adalah jaringan single layer neural. Ini dikembangkan oleh Profesor Bernard Widrow dan mahasiswa pascasarjananya Ted Hoff di Universitas Stanford pada 1960. Hal ini didasarkan pada neuron McCulloch-Pitts. Ini terdiri dari berat, bias dan fungsi penjumlahan.
- 4. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI ADALINEADALINEADALINEADALINE ADALINE Aadalah jaringan satu lapis dengan satu neuron output dan sebuah neuoron prasikap pada inputnya. Bobot dan prasikap dapat disesuaikan dalampelatihan ADALINE umumnya menggunakan aktivasi bipolar (1 atau -1) untuk sinyal inputnya dan output targetnya. Bobot pada koneksi dari unit input ke ADALINE dapat ditentukan. ADALINE juga memilki bias dengan sifat seperti pada bobot yang ditentukan sendiri pada sebuah koneksi dari suatu unit dengan fungsi aktivasi selalu satu.
- 5. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI ADALINEADALINEADALINEADALINE Secara umum, ADALINE dapat dilatih dengan menggunakan aturan delta, LMS (Least Mean Square) atau aturan Widrow-Hoff. Aturan tersebut juga dapat digunakan pada single layer network dengan beberapa unit output. Selama proses pembelajaran aktivasi dari unit ini adalah unit inputnya. Aturan pembelajarannya mengurangi mean squared error antara aktivasi dengan nilai target. Hal ini mengijinkan network untuk melanjutkan pembelajaran pada seluruh pola pelatihan, bahkan setelah nilai output benar diperoleh (jika fungsi threshold diapilkasikan) untuk beberapa pola.
- 6. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI ARSITEKTUR ADALINEARSITEKTUR ADALINEARSITEKTUR ADALINEARSITEKTUR ADALINE ADALINE adalah sebuah single neuron yang memiliki beberapa input atau multiple input. ADALINE menerima input dari unit dengan sinyal yang selalu +1, dalam hal ini untuk bobot bias dapat dilatih dengan proses yang sama (aturan delta) yang digunakan untuk melatih bobot-bobot lainnya. Single ADALINE ditunjukkan pada gambar 1 di bawah ini Gambar油1油Arsitektur Single ADALINE
- 7. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI ARSITEKTUR ADALINEARSITEKTUR ADALINEARSITEKTUR ADALINEARSITEKTUR ADALINE Beberapa ADALINE menerima sinyal dari unit input yang sama dapat dikombinasikan pada single layer network, yang dijelaskan pada perceptron. Jika ADALINE dikombinasikan maka output dari mereka menjadi input bagi yang lainnya, kemudian network akan menjadi multilayer, dan akan sulit untuk menentukan bobot yang diinginkan.
- 8. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI ALGORITMA ADALINEALGORITMA ADALINEALGORITMA ADALINEALGORITMA ADALINE Adapun algoritma dari pembelajaran ADALINE adalah sebagai berikut: 1.Langkah 0 Seperti pada pembelajaran lainnya, algorima ADALINE diawali dengan melakukan inisialisasi bobot. Nilai bobot yang digunakan adalah nilai acak namun kecil. Selain itu lakukan juga pengaturan pada learning rate 留. 2. Langkah 1 Ketika kondisi penghentian bernilai salah, lakukan langkah ke-2 hingga langkah ke-6. 3. Langkah 2 Untuk masing-masing pasangan pelatihan bipolar, lakukan langkah ke-3 hingga langkah ke-5.
- 9. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI ALGORITMA ADALINEALGORITMA ADALINEALGORITMA ADALINEALGORITMA ADALINE 4. Langkah 3 Lakukan pengaturan terhadap aktivasi dari unit input, dengan i = 1 sampai n, dengan: pi = si 5. Langkah 4 Lakukan penghitungan pada input network pada output dengan: n = Wp + b 6. Langkah 5 Lakukan pembaruan pada bias dan bobot, dengan i = 1 , ....., n. bbaru = blama + 留 ( t n) Wi baru = Wi lama + 留 ( t n) * pi
- 10. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI ALGORITMA ADALINEALGORITMA ADALINEALGORITMA ADALINEALGORITMA ADALINE Langkah 6 Lakukan pengujian agar iterasi berakhir. Jika perubahan bobot terbesar terjadi pada langkah kedua yang lebih kecil dari toleransi yang ditetapkan, maka hentikan iterasi, selain itu dilanjutkan.
- 11. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI DEVRIASI ADALINEDEVRIASI ADALINEDEVRIASI ADALINEDEVRIASI ADALINE a. Aturan Delta untuk Single Output Aturan delta merubah bobot dari hubungan neural sehingga meminimalkan perbedaan antara input network dalam unit output, n dan nilai target t. Maksudnya adalah meminimalkan error dari seluruh pola pelatihan. Akan tetapi, hal ini unggul dalam mengurangi error pada setiap pola satu per satu. Perbaikan bobot juga dapat diakumulasikan sebagai jumlah dari pola pelatihan (sehingga disebut sebagai kumpulan pembaruan / batch updating) jika diinginkan.
- 12. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI DEVRIASI ADALINEDEVRIASI ADALINEDEVRIASI ADALINEDEVRIASI ADALINE Aturan delta untuk mengatur bobot ke I (untuk setiap pola) adalah: Keterangan: p : Vektor aktivasi dari unit input, n : Input network dalam output a dengan t : Target output.
- 13. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI Derivasi : Error squared untuk ketelitian pola pelatihan adalah E adalah fungsi dari seluruh bobot, Wi, dengan i = 1 sampai n. Gradien E adalah vektor yang terdiri dari sebagian derivasi E pada setiap bobot. Gradien menunjukkan peningkatan dari E, dan lawannya menunjukan penurunan dari Error. Error dapat dikurangi dengan mengatur bobot WI pada Saat , DEVRIASI ADALINEDEVRIASI ADALINEDEVRIASI ADALINEDEVRIASI ADALINE
- 14. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI Jadi, error lokal akan dikurangi dengan cepat (untuk learning rate diberikan) dengan mengatur bobot seperti aturan delta, yaitu: DEVRIASI ADALINEDEVRIASI ADALINEDEVRIASI ADALINEDEVRIASI ADALINE II pntw )( = 留
- 15. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI b. Aturan Delta untuk Beberapa Output. Derivasi yang diberikan pada sesi ini diperbolehkan untuk lebih dari satu unit output. Bobot- bobot diubah untuk mengurangi perbedaan antara input network, nJ, dengan target tJ. Persamaan ini mengurangi error pada setiap pola. Perbaikan bobot juga dapat diakumulasikan sebagai jumlah dari pola pelatihan (sehingga disebut sebagai kumpulan pembaruan / batch updating) jika diinginkan. Aturan delta untuk mengatur bobot dari input ke-I pada output ke-J adalah : DEVRIASI ADALINEDEVRIASI ADALINEDEVRIASI ADALINEDEVRIASI ADALINE
- 16. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI Derivasi: Error squared untuk ketelitian pola pelatihan adalah E adalah fungsi dari seluruh bobot. Gradien E adalah vektor yang terdiri dari sebagian derivasi E pada setiap bobot. Gradien menunjukkan peningkatan dari E, dan lawannya menunjukan penurunan dari Error. Error dapat dikurangi dengan mengatur bobot wIJ pada Jadi, error lokal akan dikurangi dengan cepat (untuk learning rate yang diberikan) dengan mengatur bobot seperti pada aturan delta, yaitu: DEVRIASI ADALINEDEVRIASI ADALINEDEVRIASI ADALINEDEVRIASI ADALINE
- 17. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI APLIKASI ADALINEAPLIKASI ADALINEAPLIKASI ADALINEAPLIKASI ADALINE Selain digunakan sebagai pelatihan, unit adaline dapat digunakan untuk mengklasifikasi pola input. Jika nilai target adalah biner atau bipolar, fungsi step dapat diterapkan pada fungsi aktivasi untuk unit output. Prosedure tersebut menunjukkan fungsi step untuk target bipolar.
- 18. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI CONTOH APLIKASI ADALINECONTOH APLIKASI ADALINECONTOH APLIKASI ADALINECONTOH APLIKASI ADALINE Contoh: adaline dengan input dan target bipolar pada fungsi NOR. Input target 1 1 -1 1 -1 -1 -1 1 -1 -1 -1 1 Dalam pembelajaran pada persoalan ini digunakan fungsi aktivasi bipolar atau Symetric Hard limit karena input dan target yang digunakan adalah bipolar., dengan : a = +1 jika n 0 a = -1 jika n < 0 Tabel 1 bipolar NOR
- 19. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI CONTOH APLIKASI ADALINECONTOH APLIKASI ADALINECONTOH APLIKASI ADALINECONTOH APLIKASI ADALINE Untuk menyelesaikan persoalan diatas, sebagai langkah awal maka akan ditentukan bobot dan bias serta learning rate dengan nilai acak, yaitu: W11 =0,2 W12 = 0,4 b = 0,1 留 = 0,3 Proses pembelajaran: Iterasi ke-1 : Input data ke-1 p1 = 1 p2 = 1 t = -1 n = (0,2 * 1) + (0,4 * 1) + 0,1 n = 0,7 a = hardlims (n) a = hardlims (0,7) = 1
- 20. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI CONTOH APLIKASI ADALINECONTOH APLIKASI ADALINECONTOH APLIKASI ADALINECONTOH APLIKASI ADALINE Perhitungan nilai error: e = t a = -1 -1 = -2, -2 0 terjadi error sehingga bobot dan bias diperbarui, yaitu: Wi baru = Wi lama + 留 ( t n) * pi W11 baru = W11 lama + 留 ( t n) * p1 W11 = 0,2 + 0,3(-1(-0,7)) * 1 = -0,31 W12 baru = W21 lama + 留 ( t n) * p2 W12 = 0,4 + (-0,51) = -0,11 bbaru = 0,1 + 0,3 (-1(-0,7)) = -0,41
- 21. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI CONTOH APLIKASI ADALINECONTOH APLIKASI ADALINECONTOH APLIKASI ADALINECONTOH APLIKASI ADALINE Iterasi ke-2 : Input data ke-2 p1 =1 p2 = -1 t = -1 W11 = -0,31 W12 = -0,11 b = -0,41 n = ((-0,31* 1) + (-0,11* (-1))) + (-0,41) n = -0,61 a = hardlims (n) a = hardlims (-0,61) = -1 Perhitungan nilai error: e = t a = -1 (-1) = 0, tidak terjadi error sehingga bobot dan bias tetap W11 = -0,31 W12 = -0,11 b = -0,41 Dan begitu seterusnya.
- 22. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI CONTOH APLIKASI ADALINECONTOH APLIKASI ADALINECONTOH APLIKASI ADALINECONTOH APLIKASI ADALINE Untuk mengetahui ketepatan bobot dalam melakukan klasifikasi maka dilakukan pengujian sebagai berikut. Bobot dan bias yang diperoleh dari proses pelatihan: W11 = -0,31 W12 = -0,11 b = -0,41 Input data ke-1 p1 = 1 p2 = 1 t = -1 n = ((-0,31* 1) + (-0,11* 1)) + (-0,41) n = -0,83 a = hardlims (n) a = hardlims (-0,83) = -1 (output telah sesuai dengan target)
- 23. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI CONTOH APLIKASI ADALINECONTOH APLIKASI ADALINECONTOH APLIKASI ADALINECONTOH APLIKASI ADALINE Input data ke-2 p1 = 1 p2 = -1 t = -1 n = ((-0,31* 1) + (-0,11* (-1))) + (-0,41) n = -0,61 a = hardlims (n) a = hardlims (-0,61) = -1 (output telah sesuai dengan target) Dan begitu seterusnya..
- 24. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI MADALINEMADALINEMADALINEMADALINE MADALINE (Many Adaptive Linear Neurons) terdiri dari banyak ADALINE yang diatur dalam multilayer network. Dalam hal ini kita akan membahas MADALINE dengan 1 hidden layer (tersusun dari 2 hidden unit ADALINE) dan 1 unit output ADALINE. Generalisasi untuk beberapa unit hidden, beberapa unit output, dan beberapa hidden layer adalah sederhana.
- 25. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI ARSITEKTUR MADALINEARSITEKTUR MADALINEARSITEKTUR MADALINEARSITEKTUR MADALINE MADALINE sederhana diilustrasikan pada gambar 2. Output dari 2 hidden ADALINE, z1 dan z2, ditentukan dengan sinyal dari unit input yang sama yaitu p1 dan p2. Seperti ADALINE, setiap sinyal output adalah hasil dari penerapan fungsi threshold dalam unit input net. Jadi, a adalah fungsi nonlinier dari vektor input (p1, p2). Menggunakan hidden unit, z1 dan z2, tidak hanya memberikan network tidak menemukan kapabilitas komputasi pada unit input network, tetapi juga mempersulit proses pelatihan. Pada sesi berikutnya kita akan menganggap 2 algoritma pelatihan dari MADALINE dengan 1 hidden layer.
- 26. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI ARSITEKTUR MADALINEARSITEKTUR MADALINEARSITEKTUR MADALINEARSITEKTUR MADALINE Gambar 2 Arsitektur MADALINE
- 27. BERANDABERANDA KELOMPOKKELOMPOK MATERIMATERI DISKUSIDISKUSI SELESAISELESAI ALGORITMA MADALINEALGORITMA MADALINEALGORITMA MADALINEALGORITMA MADALINE Dalam Algoritma MRI (betuk asli dari pelatihan MADALINE), hanya bobot untuk ADALINE tersembunyi yang diatur, sedangkan bobot output tetap. Pada MRII algoritma memberikan sebuah metode yang mengatur seluruh bobot dari network. Pertama dianggap pada algoritma MRI, bobot v1 dan v2 serta bias b3 mengumpan ke dalam unit output a yang telah ditentukan sehingga tanggapan dari unit a adalah 1 jika sinyal tersebut diterima dari Z1 dan Z2 adalah 1 atau a bernilai -1 jika kedua z1 dan z2 mengirim sinyal -1.