Mengapa perlu evaluasi training
- 2. Training apa yang dikatakan berkualitas ? Training yang memenuhi kebutuhan customer Trainee belajar hal yang harus mereka pelajari Training mengubah sikap seseorang .. 2
- 3. Bagaimana mengukur hasil training ? Jumlah budget Jumlah peserta training per batchnya Jumlah training hours .. Apa sudah cukup ??
- 4. TujuanTujuan Identifikasi kegunaan & level evaluasi Mampu mengembangkan evaluasi untuk mengukur efektivitas training Mampu mengembangkan evaluasi untuk mengukur hasil training
- 5. ApaApa yangyang dimaksuddimaksud EvaluasiEvaluasi TrainingTraining 5
- 6. MengapaMengapa EvaluasiEvaluasi TrainingTraining diperlukandiperlukan ?? Mengetahui kelemahan & kelebihan program Mengetahui apakah kita telah mencapai tujuan training Menentukan rasio biaya/keuntungan dari program Mengetahui peserta yang mendapat manfaat terbesar dari training serta sebaliknya Menentukan apakah program training merupakan solusi atas masalah pekerjaan 6
- 7. HambatanHambatan dalamdalam MengevaluasiMengevaluasi Tidak ada ukuran yang jelas dari training Tidak tahu data mana yang harus dikumpulkan Pengukuran hanya efektif untuk bagian produksi & keuangan Terdapat faktor lain di luar training yang mempengaruhi perubahan sikap Evaluasi menimbulkan kritikan Evaluasi berbiaya mahal Komitmen dari top management 7
- 8. ProsesProses TrainingTraining Training Need Analysis Tujuan Training Pelaksanaan Training Evaluasi Training Training apa yang dibutuhkan untuk orang/ pekerjaan ini Tujuan harus terukur Teknik meliputi On the Job Training, Action Plan Mengukur reaksi, gaya pembelajaran dan hasil 8
- 9. EmpatEmpat LevelLevel EvaluasiEvaluasi Level 1 Reaction Level 2 Learning Level 3 Behaviour Application Level 4 Business Impact Evaluasi Efektivitas Training Evaluasi Hasil Training 9
- 10. EmpatEmpat LevelLevel EvaluasiEvaluasi Evaluasi reaksi trainee terhadap program. Apakah mereka menyukai training? Apakah mereka menilainya berguna? Level 1- Reaksi Tes trainee untuk menentukan apakah mereka mempelajari prinsip, keterampilan dan fakta yang seharusnya mereka pelajari Level 2- Learning 10
- 11. EmpatEmpat LevelLevel EvaluasiEvaluasi Tanyakan apakah perilaku trainee dalam pekerjaan berubah karena program training. Contoh: apakah pegawai di bagian komplain lebih ramah dalam menghadapi pelanggan marah dibanding sebelumnya ? Level 3- Behavior Application Apakah hasil akhir tercapai mengacu pada tujuan training di awal? Apakah jumlah komplain pelanggan menurun? Apakah tingkat turnover berkurang? Level 4-Business Impact 11
- 12. EmpatEmpat LevelLevel EvaluasiEvaluasi Level Nilai Informasi Frekuensi Penggunaan Tingkat Kesulitan Penilaian Reaction Kurang berguna Sering Mudah Learning Behaviour Results Paling berguna Tidak Sering Sulit 12
- 14. Level 1Level 1--ReactionReaction Evaluasi reaksi trainee terhadap program Apakah mereka menyukai dan menikmati training ? Apakah trainee menilai training sesuai kebutuhan ? Level 1-Reaction (Smile Sheet) 14
- 15. PanduanPanduan EvaluasiEvaluasi ReaksiReaksi Putuskan secara jelas apa yang akan diukur Identifikasi alat evaluasi yang akan digunakan Putuskan bagaimana menghitung hasilnya Putuskan apa yang akan dilakukan terhadap hasil evaluasi 15
- 16. PutuskanPutuskan secarasecara jelasjelas apaapa yangyang akanakan diukurdiukur Seberapa berguna proses materi? Panjang materi Materi yang disediakan Efektivitas instruktur MasukanMasukan untukuntuk PerbaikanPerbaikan Pilih pertanyaan yang memberi informasi paling relevan 16
- 17. IdentifikasiIdentifikasi AlatAlat EvaluasiEvaluasi yangyang AkanAkan DigunakanDigunakan Tipe evaluasi apa yang digunakan? Generik Spesifik Jenis pertanyaan apa? Pertanyaan terbuka Pertanyaan terstruktur dengan skala Pertanyaan objective Hindari penggunaan pertanyaan bias 17
- 19. TentukanTentukan BagaimanaBagaimana MenggunakanMenggunakan HasilHasil EvaluasiEvaluasi Identifikasi masalah & tindakan perbaikan Bagaimana jalannya program? Perbaikan apa yang bisa dilakukan berikutnya? Kapan perbaikan akan selesai? Siapa yang akan bertanggung jawab? Siapa yang akan memberi persetujuan? 19
- 20. 20
- 21. Level 2Level 2--LearningLearning 21 Level 2-Learning Mengukur pembelajaran (learning) berarti menentukan: Apakah trainee mempelajari apa yang direncanakan untuk dipelajari? Apakah pengalaman trainee sesuai dengan apa yang direncanakan?
- 22. KomponenKomponen EvaluasiEvaluasi Level 2Level 2 1. Kompetensi Apa yang harus dipelajari untuk pekerjaan (Knowledge, Skill, Attitude) 2. Objectives Tujuan sesi yang spesifik & terukur 3. Exercises Aktivitas di sesi training yang akan digunakan untuk tujuan evaluasi 4. Evaluation Alat yang digunakan untuk mengukur kompetensi 22
- 23. 23
- 24. ContohContoh EvaluasiEvaluasi HasilHasil Pre Test/Post TestPre Test/Post Test Pertanyaan Pre Test Post Test +/- 1 1.5 3.5 2.0 2 3.5 3.0 (0.5) 3 1.7 2.9 1.2 24
- 26. Level 3Level 3--Behavior ApplicationBehavior Application 26 Level 3-Behavior Application Frekuensi aplikasi Skills / Knowledge/Attitudes baru (dalam pekerjaan) Efektivitas Skills / Knowledge / Attitudes (aplikasi dalam pekerjaan)
- 27. Apa yang Diukur: Apakah diaplikasikan dalam pekerjaan Seberapa sering diaplikasikan? Seberapa berhasil? Form masukan peserta Form masukan atasan Form masukan rekan kerja Form masukan customer Evaluasi Evaluasi 360 360--derajat derajat AlatAlat EvaluasiEvaluasi Level 3Level 3 27
- 29. 29 Berikan jeda waktu dari selesai training ke saat evaluasi
- 30. Level 4Level 4--Business ResultsBusiness Results Apakah program training berpengaruh terhadap: Produktivitas Kualitas Customer Response Time Kontrol Biaya Kepuasan Karyawan Kepuasan Pelanggan Level 4- Business Results 30
- 31. LangkahLangkah EvaluasiEvaluasi Training Level 4Training Level 4 Review tujuan Mengukur progress terhadap tujuan Mentabulasikan hasil Menyajikan hasil 31
- 32. Performance IndicatorsPerformance Indicators Hard Data Indicators Durasi downtime Jumlah produk rusak Volume penjualan Unit produksi Indeks kepuasan pelanggan Jumlah kecelakaan kerja dll 32
- 33. Performance IndicatorsPerformance Indicators Soft Data Indicators (aspek intangible/tidak berwujud) Kepuasan kerja Hubungan kerja yang harmonis Komunikasi yang efektif Tingkat stress Kualitas pengambilan keputusan 33
- 34. ContohContoh:: MengukurMengukur HasilHasil TrainingTraining 120 80 0 20 40 60 80 100 120 140 Sebelum Training Setelah Training JumlahProdukRusak Program: Training TQM Hasil 3 bulan setelah training, jumlah produk rusak turun hingga 80 unit/hari 34
- 35. ContohContoh:: MengukurMengukur HasilHasil TrainingTraining 20 30 0 10 20 30 40 50 Sebelum Training Setelah Training Sales(Unit) Program: Training Sales Hasil 3 bulan setelah training, jumlah sales per salesman Meningkat hingga 30 unit/ bulan 35
- 36. MengukurMengukur Return On Training InvestmentReturn On Training Investment (ROTI)(ROTI) 36
- 37. Level 1-Reaction Level 2-Learning Level 3-Behaviour Application Level 4-Business Impact Level 5-Return on Investment of Training 37
- 38. KriteriaKriteria MemilihMemilih ProgramProgram untukuntuk EvaluasiEvaluasi Level 4Level 4 dandan 55 Tingkat kepentingan program dalam pencapaian tujuan organisasi Biaya program Jumlah peserta Tingkat kepentingan dari pihak manajemen 38
- 39. KeuntunganKeuntungan ROI TrainingROI Training Mengukur kontribusi Menetapkan prioritas Berfokus pada hasil Mengubah pandangan manajemen terhadap training 39
- 40. Model ROI TrainingModel ROI Training Mengumpulkan data Mengisolasi Efek Training Mengubah Data Ke Satuan Uang Menghitung ROI Training Mentabulasi Biaya Program Mengidentifikasi Keuntungan Intangible 40
- 41. MengumpulkanMengumpulkan DataData Identifikasi indikator performa yang tepat Mengembangkan rencana pengumpulan data MengumpulkanMengumpulkan datadata 41
- 42. ContohContoh IndikatorIndikator PerformaPerforma OutputOutput TimeTime Unit produksi Item terjual Produktivitas Account baru Downtime perlengkapan Overtime Waktu proses Waktu perbaikan 42
- 43. ContohContoh Hard IndicatorHard Indicator CostCost QualityQuality Biaya/unit Biaya variabel Biaya overhead Biaya operasi Scrap Waste Reject Error rate Rework 43
- 44. ContohContoh HasilHasil PerformaPerforma Beberapa hasil performa setelah program training: Scrap berkurang dari 11% menjadi 7.4% Ketidakhadiran berkurang dari 7% menjadi 3.25% Tingkat turnover berkurang dari 30% menjadi 16% 44
- 45. MengisolasiMengisolasi EfekEfek TrainingTraining Menggunakan Control Group Trend Lines MetodeMetode IsolasiIsolasi EfekEfek TrainingTraining Estimasi Peserta Estimasi Atasan Peserta 45
- 46. MengisolasiMengisolasi EfekEfek TrainingTraining Kontrol grup dapat digunakan untuk mengisolasi dampak training Dengan strategi ini, satu grup menerima training, sedangkan grup yang lain tidak menerima training Perbedaan performa diantara kedua grup merupakan dampak dari program training MenggunakanMenggunakan KontrolKontrol GrupGrup 46
- 47. Trend lines digunakan untuk memperkirakan suatu hasil jikalau tidak diadakan training Perkiraan dibandingkan dengan data aktual setelah training, dan perbedaannya dianggap sebagai dampak training MengisolasiMengisolasi EfekEfek TrainingTraining Trend LinesTrend Lines 47
- 48. AnalisisAnalisis Trend LinesTrend Lines Performa Penjualan Aktual Gap melambangkan dampak training VolumePenjualan Program Training diadakan awal Mei Proyeksi Trend Jan Feb Mar Apr Mei Jun Jul Ags 48
- 49. MengisolasiMengisolasi EfekEfek TrainingTraining Metode ini berdasar pada asumsi peserta (dan atasannya) mampu memperkirakan seberapa peningkatan kinerja terkait program training Karena tindakan mereka menghasilkan peningkatan, peserta (dan atasannya) memiliki input yang akurat mengenai hal ini Mereka harus mengetahui berapa besar perubahan yang dihasilkan dengan menerapkan apa yang telah dipelajari di program EstimasiEstimasi DampakDampak TrainingTraining daridari PesertaPeserta DanDan AtasanAtasan PesertaPeserta 49
- 50. MengisolasiMengisolasi EfekEfek TrainingTraining Contoh Pertanyaan: Berapa % peningkatan yang dihasilkan dari penerapan skill/teknik/attitude yang diperoleh dari training? Seberapa yakin anda mengenai estimasi tersebut (dalam %)? Faktor lain apa saja yang berkontribusi pada peningkatan kinerja? EstimasiEstimasi DampakDampak TrainingTraining daridari PesertaPeserta DanDan AtasanAtasan PesertaPeserta 50
- 51. MengisolasiMengisolasi EfekEfek TrainingTraining Contoh Estimasi Peserta: No. Faktor yang Mempengaruhi Peningkatan % Peningkatan % Kepercayaan 1 Program Training 50% 70% 2 Perubahan Prosedur 10% 80% 3 Penyesuaian Standard 10% 50% 4 Perubahan Rencana Insentif 20% 90% 5 Peningkatan Perhatian Manajemen 10% 50% 6 Lain-lain - - % Kepercayaan dikalikan % Peningkatan (50% x 70%) menghasilkan training factor value 35% 51
- 52. Mengisolasi Efek TrainingMengisolasi Efek Training Contoh Estimasi Peserta: No. Faktor yang Mempengaruhi Peningkatan % Peningkatan % Kepercayaan 1 Program Training 50% 70% 2 Perubahan Prosedur 10% 80% 3 Penyesuaian Standard 10% 50% 4 Perubahan Rencana Insentif 20% 90% 5 Peningkatan Perhatian Manajemen 10% 50% 6 Lain-lain - - 52 % Kepercayaan dikalikan % Peningkatan (50% x 70%) untuk menghasilkan training factor value 35% % ini kemudian dikalikan dengan nilai aktual peningkatan (nilai post program dikurangi pre program) untuk mengisolasi porsi training Peningkatan (adjusted) ini siap untuk dikonversi menjadi nilai uang dan digunakan dalam return on investment
- 53. Konversi Data ke Nilai UangKonversi Data ke Nilai Uang Langkah Mengubah Data ke Nilai Uang: Fokus dalam unit peningkatan Tentukan nilai setiap unit Hitung perubahan kinerja Tentukan nilai perubahan annual Hitung nilai peningkatan annual Konversi Data keKonversi Data ke Nilai UangNilai Uang 53
- 54. Langkah Mengubah Data ke Nilai UangLangkah Mengubah Data ke Nilai Uang Contoh Ilustrasi Langkah Mengubah Data menjadi Nilai Uang: Langkah Ilustrasi Fokus pada unit peningkatan Jumlah Keluhan Pelanggan Tentukan Nilai setiap Unit Biaya rata-rata menangani keluhan diestimasi $6,500 Hitung Perubahan Kinerja 6 bulan setelah training, jumlah keluhan per bulan berkurang sejumlah 10 7 dari 10 keluhan yang berkurang dinilai atasan terkait dengan hasil training (isolasi dampak training) Tentukan Nilai Perubahan Menggunakan nilai 6 bulan, 7 keluhan per bulannya, menghasilkan nilai 6x7x$6,500 = $546,000 54
- 55. Tabulasi Biaya ProgramTabulasi Biaya Program Tabulasi BiayaTabulasi Biaya ProgramProgram Tabulasi biaya meliputi monitoring semua biaya program untuk menghitung ROI 55
- 56. Tabulasi Biaya ProgramTabulasi Biaya Program Komponen biaya yang seharusnya dihitung: Biaya perjalanan, penginapan, makan peserta Gaji peserta training Biaya administrasi training Tabulasi BiayaTabulasi Biaya ProgramProgram 56
- 57. Tabulasi Biaya ProgramTabulasi Biaya Program A. Biaya Pengembangan Training B. Biaya Gaji Peserta Training Gaji Annual x Panjang Training x Jumlah Peserta Hari Kerja C. Biaya Perjalanan Avg. Biaya + Biaya Akomodasi x Panjang Training x Peserta Perjalanan D. Biaya Paket Peserta = Jumlah Manual x Jumlah Peserta E. Biaya Trainer Gaji Annual x Hari Training x Jumlah Trainer Hari Kerja/Tahun F. Biaya Kelas Annual G. TOTAL BIAYA TRAINING= (A)+(B)+(C)+(D)+(E)+(F) 57
- 58. Contoh Analisis ROIContoh Analisis ROI Minggu Setelah Training Trained Group Control Group 1 US$ 9,723 9,698 2 9,978 9,720 3 10,424 9,812 13 13,690 11,572 14 11,491 9,683 15 11,044 10,092 Average untuk minggu 13,14,15 12,075 10,449 58
- 59. Contoh Analisis ROIContoh Analisis ROI Keuntungan Program Annual Data US$ Rata-rata penjualan mingguan Trained Group 12,075 Control Group 10,449 Peningkatan 1,626 Kontribusi Profit dari Training 2% 32.50 (Dampak Training) Total Peningkatan Mingguan (32.5 x 46 peserta) 1,495 Total Keuntungan Annual ($ 1,495 x 48 minggu) 71,760 Cat: 46 peserta tetap di pekerjaan setelah 3 bulan 59
- 60. Contoh Analisis ROIContoh Analisis ROI Biaya US$ Fee Fasilitasi 11,250 Material program: $35 x 46 1,610 Makan: 3 hari x $28 x 46 1,288 Gaji peserta (35%) 12,442 Koordinasi dan Evaluasi 2,500 Total Biaya 29,090 ROI (%): = $71,760-$29,090 X 100 $ 29,090 = 146% 60