More Related Content
What's hot (20)
Similar to PPT-Data Mining-Pertemuan 5 metode regresi ZZ.pptx (20)
Recently uploaded (7)
PPT-Data Mining-Pertemuan 5 metode regresi ZZ.pptx
- 1. Metode Regresi PERTEMUAN 5 Program Studi Teknik Informatika
- 2. Regresi (regression) Memprediksi nilai variabel (target/dependen) bernilai kontinu (numerik) yang diberikan berdasarkan nilai variabel (attributes/independen) lain, dengan asumsi model ketergantungan linier atau nonlinier. Sangat dipelajari dalam statistik. Variabel Dependen : variabel yang ingin diprediksi. Variabel Independen : variabel yang digunakan untuk memprediksi nilai variabel lainnya. Variabel Independen Variabel Dependen Data Point Garis Regresi Contoh: Memprediksi jumlah penjualan produk baru berdasarkan belanja iklan Memprediksi kecepatan angin sebagai fungsi suhu, kelembaban, tekanan udara, dll.
- 4. Mengapa kita menggunakan Regresi ? Memahami hubungan antar variabel Memprediksi (forecasting) nilai variabel. Forecasting : data rentet waktu (data time series) Menemukan pola dalam data
- 5. Regresi Linier Regresi merupakan alat ukur yang digunakan untuk mengetahui ada tidaknya korelasi antar variabel (atau atribut/independen). Analisis regresi lebih akurat dalam analisis korelasi karena tingkat perubahan suatu variabel terhadap variabel lainnya dapat ditentukan. Jadi, pada regresi, prediksi nilai variabel dependen pada variabel independen lebih akurat. Regresi linier adalah regresi dimana variabel independennya (variabel berpangkat paling tinggi satu.
- 6. Tipe-tipe Regresi Regresi Linier : Regresi linier sederhana Regresi linier berganda Regresi Non Linier : Regresi linier berganda Regresi non linier berganda
- 7. Secara umum, menggunakan sebuah model variabel dependen (Y) sebagai fungsi dari satu atau lebih variabel independen (X1, X2, ..., Xp). Hubungannya dapat dinyatakan sebagai berikut: Regresi Linier : bila terdapat satu variabel independen, Yi = + X, dengan Regresi Linier Metode Kuadrat Terkecil Dimana: = Variabel Dependen Variabel Independen a = Konstanta b = Koefisien regresi (kemiringan) x b y b n x x n y x xy b 1 0 2 2 1 ) ( ) )( (
- 8. Sebelum menggunakan regresi linier sebagai model pembelajaran mesin, terdapat beberapa asumsi untuk regresi linier: Asumsi Regresi Linier Linearitas : Hubungan antara variabel terikat dan variabel bebas harus linier. Artinya garis yang paling sesuai dengan data haruslah garis lurus. Metode yang paling umum digunakan untuk mencari hubungan linier adalah korelasi, Scatterplot. Korelasi memberikan informasi tentang kekuatan dan arah hubungan linier antara dua variabel. Sumber: https://d1whtlypfis84e.cloudfront.net/guides/wp-content/uploads/2018/02/16174108/ correlation-1-1024x675-300x198.jpg
- 9. Pertanyaan: Apa yang dapat kita lakukan jika hubungan antara variabel terikat dan variabel bebas bersifat nonlinier? Transformasi data Transformasi log dari variabel independen : Misalnya, untuk variabel x, transformasi ini dapat berupa log(x), sqrt(x), exp(x) , dll., Regresi polinomial
- 10. Asumsi Regresi Linier Asumsi 2: Tidak ada Autokorelasi dalam residu. Bagaimana cara memeriksanya? Gunakan Tes Durbin-Watson. DW = 2 akan menjadi kasus ideal di sini (tidak ada autokorelasi) 0 < DW < 2 -> autokorelasi positif 2 < DW < 4 -> autokorelasi negatif Bagaimana cara memperbaiki? Tambahkan kolom yang tertinggal sehubungan dengan variabel Independen Pusatkan Variabel (Kurangi semua nilai di kolom dengan meannya). Seperti yang bisa kita lihat, Durbin-Watson :~ 1.135 (Diambil dari bagian results.summary() di atas) yang tampaknya terdapat autokorelasi.
- 11. Asumsi Regresi Linier Normalitas : Residu mengikuti distribusi normal dan rata-rata residu yang diharapkan adalah nol. Homoskedastisitas : Varians residu adalah konstan untuk semua nilai X. Tidak ada autokorelasi : Residu tidak bergantung satu sama lain. Tidak ada multikolinearitas: Tidak ada korelasi yang tinggi antar variabel independen.
- 12. Tahapan Algoritma Regresi Linier Sederhana 1. Tentukan tujuan dari melakukan analisis regresi linier sederhana 2. Identifikasi variabel independen dan variabel dependen 3. Lakukan pengumpulan data 4. Hitung dan total dari masing-masingnya. 5. Hitung a dan b berdasarkan persamaan yang sudah ditentukan. 6. Buat model persamaan regresi linier sederhana.
- 13. Contoh Kasus Seorang HRD ingin mempelajari hubungan antara pengalaman dengan gaji yang diperoleh sehingga dapat memprediksi atau meramalkan jumlah gaji berdasarkan pengalaman kerja. HRD tersebut kemudian mengambil data selama 5 pegawai terhadap rata-rata (mean) pengalaman dan jumlah gaji, data-data yang diperoleh, seperti pada Tabel dibawah:
- 14. Contoh Kasus Pegawai P G 1 1 5.000.000 2 3 7.000.000 3 5 9.000.000 4 7 12.000.000 5 10 15.000.000 Penyelesaian: 1. Tujuan : memprediksi jumlah gaji berdasarkan pengalaman kerja. 2. Identifikasi variabel dependen dan variabel independen . Variabel Independen : pengalaman kerja; Variabel Dependen gaji
- 15. Contoh Kasus Pegawai P G 1 1 5.000.000 1 25.000.000.000.000 5.000.000 2 3 7.000.000 9 49.000.000.000.000 21.000.000 3 5 9.000.000 25 81.000.000.000.000 45.000.000 4 7 12.000.000 49 144.000.000.000.000 84.000.000 5 10 15.000.000 100 225.000.000.000.000 150.000.000 Total 26 48.000.000 184 524.000.000.000.000 305.000.000
- 16. Contoh Kasus Menghitung konstanta (a) Menghitung koefisien regresi (b) = ( ヰ )( )( ) ( 2 )( ) 2
- 17. Contoh Kasus Model Persamaan Regresi Linier Sederhana Prediksikan gaji jika lamanya pengalaman kerja (variabel , contohnya: 26.401.639,32 Jadi, jika lama pengalaman kerja mencapai maka diprediksikan gaji yang diperoleh sebesar Rp. 26.401.639,32 Jika besaran gaji yang ditargetkan sebesar 30 juta maka berapakah lama pengalaman kerja yang diperlukan untuk mencapai target tersebut?
- 18. Regresi Berganda: bila terdapat lebih dari satu variabel independen, Yi = + X1i + X2i + ... + Xpi + Regresi Berganda adalah suatu random error term dan dapat menggambarkan adanya variabel lain yang belum dimasukan dalam hubungan tersebut. Contoh: Memprediksi Harga Rumah: Variabel dependen: Harga rumah Variabel independen: Luas rumah, jumlah kamar tidur, lokasi rumah, usia rumah Memprediksi Hasil Pemilihan Umum: Variabel dependen: Hasil pemilihan umum Variabel independen: Hasil jajak pendapat, tingkat partisipasi pemilih, profil kandidat
- 19. Mean Absolute Error (MAE) Nilai rata-rata dari perbedaan absolut antara nilai y asli dengan y prediksi (y topi). Semakin kecil semakin baik Root Mean Squared Error (RMSE) Akar dari penjumlahan selisih kuadrat antara nilai y asli dengan y prediksi (y topi). Semakin kecil semakin baik. Mean Squared Error Nilai kuadrat dari RMSE (RMSE2 ). Semakin kecil semakin baik. R-squared (R2 ) Coefficient of Determination Seberapa fit model dengan data secara keseluruhan dengan rentang nilai - sampai 1 Perlu diingat R2 tidak sama dengan r2 (nilai kuadrat dari pearson r) Diartikan seberapa besar variansi di var dependen dapat dijelaskan oleh variansi var independent Nilai 0,91 artinya 91% variansi Y dapat dijelaskan oleh var independent (X1,X2,,Xn) Semakin besar semakin baik Mean Absolute Percentage Error (MAPE) Nilai persentase error dan memberikan penalty terhadap error negative (y<y topi) <10% highly accurate, 11-20% good, 21%-50% reasonable, >51% inaccurate Semakin kecil semakin baik Metrik Regresi
- 20. Studi Kasus CRISP-DM Estimasi Mobil Bekas Regresi Linier (Abdul Syukur, Mohamad Arif dan Faisal, Muhammad., Penerapan Model Regresi Linear Untuk Estimasi Mobil Bekas Menggunakan Bahasa Python, EULER: Jurnal Ilmiah Matematika, Sains dan Teknologi, Desember 2023, Vol. 11, No. 2, pp. 182-191 2023) Dataset: toyota.csv (https://www.kaggle.com/datasets/adityadesai13/ used-car-datasetford-and-mercedes? select=toyota.csv). Ilustrasi CRISP-DM (La Rose. 2015. Data Mining and Predictive Analytics. Willey)
- 21. Problems: Hadi merupakan seorang pemilik show room yang menjual mobil bekas. Salah satu komoditas yang memiliki nilai transaksi yang cukup besar adalah mobil bekas. Pemasaran mobil bekas tidak berjalan dengan baik karena harga mobil bekas sering berubah karena berbagai faktor, seperti penurunan harga dan kenaikan harga. Dengan memprediksi harga mobil bekas yang akurat, pembeli dapat memperoleh mobil yang sesuai dengan anggaran dan kebutuhan mereka. Selain itu, penjual juga dapat mendapatkan harga terbaik untuk mobil mereka. Model regresi linier akan digunakan untuk membantu pemilik show room dalam mendapatkan prediksi yang diinginkannya. Objective: untuk memprediksi estimasi harga mobil bekas berdasarkan mileage dan engineSize. 1. Business Understanding
- 22. Dataset yang digunakan adalah data mobil toyota yang bertype .csv. data toyota.csv, dengan jumlah total baris dataset toyota.csv ada 6738 baris. Dan terdapat 9 kolom atau fitur. Kumpulan data terdiri dari atribut berikut: -Model : jenis mobil yang dikeluarkan oleh produsen mobil. -Tahun produk (year): tahun mobil diproduksi oleh produsen mobil. -Harga (price): harga jual mobil -Transmission : komponen yang terdapat pada mesin dan berfungsi untuk mengubah kecepatan serta tenaga putar. -Capaian kilometer (mileage) : satuan kecepatan yang menunjukkan jarak yang ditempuh dalam waktu satu jam. -Bahan bakar (fuelType) : zat yang dibakar untuk menghasilkan energi yang menggerakkan mobil. -Pajak (tax) : pungutan wajib yang harus dibayarkan oleh setiap pemilik kendaraan bermotor kepada pemerintah daerah. -Konsumsi bahan bakar (mpg) : jumlah bahan bakar yang dibutuhkan oleh suatu kendaraan untuk menempuh jarak tertentu. -Ukuran mesin (engineSize) : Kapasitas mesin menunjukkan volume total ruang bakar di semua silinder mesin. Nilai harga yang direprentasikan adalah nilai harga dalam satuan Pond dimana satu Pond kira-kira kurang lebih adalah 19.000 Rupiah. Jadi untuk melihat dalam satuan rupiah kita harus mengkonversikan atau mengalikan dengan 19.000. 2. Data Understanding
- 23. 3. Data Preparation Eksplorasi Data
- 24. 3. Data Preparation Menentukan variabel yang akan digunakan
- 25. 3. Data Preparation Menampilkan Probability Distribution Function (PDF) : untuk melihat distribusi data dan juga untuk menemukan adanya outlier
- 26. 3. Data Preparation Membersihkan data dengan metode quantile
- 27. 3. Data Preparation Memeriksa asumsi regresi linier Asumsi 1: Variabel terikat dan variabel bebas harus mempunyai hubungan linier. Bagaimana cara memeriksanya? Plot berpasangan sederhana dari kerangka data dapat membantu kita melihat apakah variabel Independen menunjukkan hubungan linier dengan Variabel Dependen. Bagaimana cara memperbaiki? Untuk memperbaiki non-linearitas, seseorang dapat melakukan transformasi log dari variabel Independen, log(X) atau transformasi non-linear lainnya seperti X atau X^2.
- 28. 3. Data Preparation Transformasi logaritmik untuk mendapatkan linearitas
- 29. 3. Data Preparation Transformasi logaritmik untuk mendapatkan linearitas
- 30. 3. Data Preparation Asumsi 2: Tidak ada Autokorelasi dalam residu. Autocorrelation umumnya ditemukan pada tipe data time series. Data yang digunakan saat ini adalah tipe cross-sectional yang didapat dari data harga sejumlah mobil bekas dalam satu waktu sehingga dapat diasumsikan tidak ada autocorrelation. Asumsi 3: Tidak Ada Multikolinearitas Sempurna. Bagaimana cara memeriksanya? Dalam kasus variabel yang sangat sedikit, seseorang dapat menggunakan peta panas, tetapi hal itu tidak dapat dilakukan jika jumlah kolomnya banyak. Cara umum lainnya untuk memeriksanya adalah dengan menghitung nilai VIF (Variance Inflation Factor). Jika VIF=1, Multikolinearitas Sangat Kurang VIF<5, Multikolinearitas Sedang VIF>5 , Multikolinearitas Ekstrim (Ini yang harus kita hindari) Bagaimana cara memperbaiki? Variabel dengan Multikolinearitas tinggi dapat dihilangkan sama sekali, atau jika Anda dapat mengetahui 2 variabel atau lebih yang memiliki korelasi tinggi satu sama lain, Anda cukup menggabungkan variabel tersebut menjadi satu. Pastikan VIF < 5.
- 31. 3. Data Preparation Nilai VIF 1 berarti tidak ada multicollinearity. Umumnya nilai VIF yang dapat diterima yang mengindikasikan tidak ada multicollinearity yaitu antara 1 sampai 5.
- 32. 4. Modeling
- 34. 4. Modeling Plot distribusi ini mengungkapkan bahwa nilai prediksi telah bekerja hampir sama dengan nilai sebenarnya, tetapi ada beberapa outlier yang dapat diperhatikan. Ini karena telah dibangun model Regresi Linier yang sangat mendasar untuk memprediksi hasil secara tepat.
- 35. 5. Evaluation Nilai MSE cukup kecil sebesar 0.0540 artinya menunjukkan performa model yang cukup baik. Karena semakin kecil nilai MSE, maka semakin baik performa model tersebut. Nilai R族 atau R-squared menggunakan .score() hingga diperoleh nilai sekitar 0.70 yang berarti model yang dibuat menjelaskan sekitar 70% variabilitas data. Nilai ini cukup baik.
- 36. 6. Development Setelah model terbuat dan terbukti akurasinya maka langkah selanjutnya adalah membuat model regresi linear ini kedalam bentuk file .sav agar bisa dieksekusi menggunakan bahasa Python. Untuk membuat file .sav kita perlu import librarry pickle. Setelah terbuat file .sav maka kita buat file baru dengan format file .py untuk menuliskan source code tampilan inputan pada web. Untuk menjalankan tampilan kita perlu install librarry streamlit terlebih dahulu di comand prompt. Setelah semuanya sudah dibuat maka kita bisa langsung mencobanya mengisikan nilai-nilai inputan yang sudah disediakan.
- 37. Soal Sebuah perusahaan ingin memprediksi penjualan produknya berdasarkan anggaran iklan. Perusahaan tersebut memiliki data penjualan dan anggaran iklan selama 10 bulan terakhir. Data tersebut adalah sebagai berikut: Bulan Penjualan (unit) Anggaran Iklan (Rp) 1 100 100.000 2 120 120.000 3 140 140.000 4 160 160.000 5 180 180.000 6 200 200.000 7 220 220.000 8 240 240.000 9 260 260.000 10 280 280.000 Tugas: 1.Buatlah model regresi linier untuk memprediksi penjualan produk berdasarkan anggaran iklan. 2.Hitunglah koefisien regresi dan interpretasikan hasilnya. 3.Prediksikan penjualan produk jika anggaran iklan adalah Rp 300.000.
- 38. TERIMA KASIH