際際滷

際際滷Share a Scribd company logo

UI/UX Heuristic Evaluation & Usability Testing [OCACourse X uxspecialty]

Open Class Academy
Open Class Academy

Open Class Academy Web : http://openclassacademy.id Medium : http://medium.com/@openclassacademy Resume Topik: Membuat sebuah aplikasi dengan design yg bagus dan mudah digunakan user adalah salah satu tantangan besar seorang product owner atau programer karena banyaknya tahapan yang harus dilakukan untuk mendapatkan masukan dari pengguna. Bahkan terkadang tidak tahu harus bagaimana dan mulai dari mana untuk dapat memperbaikannya. Heuristic Evaluation dan Usability Testing merupakan metode evaluasi yang dapat dilakukan untuk memperbaiki desain produk digital. Kedua metode ini sangat fleksibel sesuai dengan kebutuhan Product Owner. Apakah butuh untuk evaluasi cepat dan praktis atau mendalam dari suara real pengguna atau kombinasi dari kedua-duanya.. Apa yang akan dipelajari adalah: - Ten Principal of Interaction Design - Stage Heuristic Evalaution Process - Example Heuristic Evaluation or some Web and Mobile Application - The Principal of Usability Testing - The Theory and Activity of Usability Testing - Example Usability Testing result for some Web and Mobile Application

1 of 49
Downloaded 26 times
Sharing Session
Speaker: Two years experience in heuristic evaluation and usability testing planning, execution, analysis and recommendation. A lot off (42) digital product already Evaluated including e-commerce, financial, media, telecommunications, education, and non-profits. Dewi Mulansari A.Md UX Research Job Title UX Research PT Telekomunikasi Indonesia. Chief of Business Development UX Specialty. One year experience in heuristic evaluation and usability testing planning, execution, analysis and recommendation. A lot off (12) digital product already Evaluated including media, telecommunications, education, and non-profits. Noor Azizah UX Research Job Title UX Research PT Telekomunikasi Indonesia. Chief of Business Alliance UX Specialty.
Agenda : 09:30-10:30 Heuristic Evaluation Theory 10:30-10:45 Break 10:45-11:45 Usability Testing Theory
Apa itu Heuristic Evaluation?
UI/UX Heuristic Evaluation & Usability Testing [OCACourse X uxspecialty]
1. Visibility of system status User harus selalu diinformasikan apa yang terjadi
2. Match between system and the real world Harus bicara dengan bahasa user (yang familiar dengan user)
3. User control and freedom Memberikan opsi keluar dari kondisi yang tidak diinginkan.
4. Consistency and standards Tidak boleh menggunakan bahasa yang tidak standar
5. Error Prevention Mengantisipasi kemungkinan error sedini mungkin oleh user.
6. Recognition rather than recall Mengurangi memory load user dengan menampilkan opsi, objek secara visual.
7. Flexibility and efficiency of use Memberikan fungsi shortcut memudahkan user.
8. Aesthetic and minimalist design Informasi yang ditampilkan hanya yang saling terkait
9. Help users recognize, diagnose, and recover from errors Indikasi permasalahan harus sesuai dengan yang terjadi serta memberikan informasi solusinya.
10. Help and documentation Dokumentasi petunjuk.
Bagaimana melakukan Heuristic Evaluation Figure 1 Ilustrasi tersebut menampilkan evaluator yang menemukan masalah Usability , dengan menggunakan Heuristic evaluation dari sebuah system perbankan. Setiap baris mewakili salah satu dari 19 Evaluator dan setiap kolom mewakili salah satu dari 16 masalah Usability. Kotak hitam menunjukan masalah Usability dan yang putih berarti evaluator tidak menemukan masalahnya. Baris telah diatur sedemikian rupa sehingga evaluator yang menemukan masalah paling banyak berada di bagian paling bawah, sedangkan yang diatas yang tidak terlalu banyak menemukan masalah. Begitu pun dengan kolom, telah diurut juga sehingga masalah Usability yang paling mudah ditemukan disebelah kanan, dan yang paling sulit ditemukan disebelah kiri.
Determining the Number of Evaluators Figure 2 Kurva menunjukkan proporsi masalah Usability dalam Interface yang ditemukan dengan menggunakan Heuristic Evaluation dengan menggunakan jumlah evaluator yang berbeda. Kurva mewakili rata-rata enam studi kasus evaluasi heuristik. Figure 3 Kurva menunjukan berapa banyak manfaat biaya untuk Proses heuristic Evaluasi dari sample projek menggunakan asumsi yang dibahas dalam teks. Jumlah evaluator yang optimal dalam contoh ini adalah 4, dengan manfaat 62 kali lebih besar daripada biayanya.
Factor severity rating Severity Rating dapat digunakan untuk mengalokasikan sumber daya terbanyak untuk memperbaiki masalah yang paling serius dan juga dapat memberikan perkiraan kasar tentang perlunya upaya Usability tambahan. Jika Severity Rating menunjukkan bahwa beberapa masalah Usability menunjukkan Disaster dan tetap ada pada Interface, mungkin tidak disarankan untuk merilisnya. Tetapi orang mungkin memutuskan untuk melanjutkan dengan merilis sistem dengan beberapa masalah Usability jika mereka semua dinilai sebagai cosmetic. Severity Rating Scale 0 = I don't agree that this is a usability problem at all 1 = Cosmetic problem only: need not be fixed unless extra time is available on project 2 = Minor usability problem: fixing this should be given low priority 3 = Major usability problem: important to fix, so should be given high priority 4 = Usability catastrophe: imperative to fix this before product can be released How to rate the severity of usability problem
Severity Rating Heuristic Evaluation Severity ratings from a single evaluator are too unreliable to be trusted. Using the mean of a set of ratings from three evaluators is satisfactory for many practical purposes. If the severity ratings indicate that several disastrous usability problems remain in an interface, it will probably be unadvisable to release it. How to rate the severity of usability problem
Tahapan Heuristic Evaluation
Contoh kasus: Negative Finding: Saat button copy di tekan tidak ada aksi, sehingga user bingung bagaimana cara copy kode pembayarannya Rekomendasi: Perbaikan performansi, agar Button Copy dapat berfungsi Severity Rating: 3 1. Visibility of system status
Contoh kasus: Negative Finding: Tidak terlihat scroll bar pada halaman, sehingga user tidak mengetahui bahwa halaman belum berakhir. Rekomendasi: Perbaikan design halaman, dengan menambahkan Scroll Bar. Severity Rating: 3 4. Consistency and standards
Contoh kasus: Negative Finding: Form pengisian lainnya tertutup oleh Virtual keyboard, sehingga user tidak dapat membaca apa yang sedang dituliskan. Rekomendasi: Perbaikan design halaman, dengan membuat layar terscroll keatas secara otomatis jika user sedang melakukan pengetikan. Severity Rating: 3 6. Recognition rather than recall
4 stage UX process include research, design, testing and build UX Research UX Build UX Design UX Testing Iterate Source : Objective Digital (UX Consultant Australia), TelkomRDC Proses design user experience (best practice) UX Research UX Build UX Design UX Testing
Apa itu Usability Testing?
User Centered Interaction Design Usability Testing Usability Test is a technique used in user-centered interaction design to evaluate a product by testing it on users It gives direct input on how real users use the system (Nielsen, Usability Engineering, 1994) Salah satu user centered interaction design adalah pelaksanaan Usability Testing (UX research) untuk mendapatkan voice of user secara langsung dan natural. Yaitu aktivitas observasi terhadap pengguna ketika menggunakan aplikasi. Partisipan/userFasilitator
UI/UX Heuristic Evaluation & Usability Testing [OCACourse X uxspecialty]
The Real Story !
Usability Attributes a. Learnability b. Efficiency c. Memorability d. Errors e. Satisfaction Usability adalah interaksi smooth pengguna
Success & Satisfaction Bila user sukses melakukan task maka user juga puas.
Return and investments Usability testing dapat memberikan peningkatan sbb: Pelaksanaan Usability Testing minimal 2.6 kali untuk mendapatkan kematangan design.
85% system problems can be identified (Lewis, Determining Usability Test Sample Size, 2006) Proven in more than 83 case studies (Nielsen, How Many Test Users in a Usability Study, 2012) How many users to test?? 5Users are enough
Contoh hasil proses usability testing
Q: When should I usability test? A: You can and should test any time (Now!)
Bagaimana tahapan Usability Testing?
Tahapan Usability Testing Planning Excecuting Reporting
Planning Diskusi dengan Product Owner & Developer Formulasi goal, scenario & task UT Plan Dashboard Rekrutasi peserta Usability Testing Setting UT Tools
Planning PRODUCT UNDER TEST Being tested : Aplikasi mobile Android XXX. Fitur saat test : Melakukan pencarian tipe mobil, Melakukan register, melakukan offering Cash,melakukan reminder order, BUSINESS CASE Why: - Kebutuhan validasi experience User menggunakan aplikasi mobile XXX. Benefits: - Meningkatkan traffic pengguna - Meningkatkan transaksi. TEST OBJECTIVES Goals: Apakah user dapat dengan mudah mengetahui cara mencari tipe mobil, cara register, cara melakukan offering, melakukan reminder order Apakah flow yang diimplementasikan pada aplikasi sudah sesuai dengan mental model dari user? PARTICIPANTS Bandung Key Character : 5 orang pengguna baru. EXISTING DESIGN Aplikasi XXXX EQUIPMENT Smartphone Desktop Aplikasi lookback TEST TASKS 1. Melakukan pencarian tipe mobil 2. Melakukan register 3. Melakukan offering cash 4. Melakukan reminder order 5. Melakukan deal. Post Task & Test Questionnaire : - Post task - Post test (SUS & NPS) LOCATION & DATES Lokasi : Bali Date : 30 Juli 2018 RESPONSIBILITIES Facilitator, Observer: Dewi Tech Support/observer: Noor 0-5 Min Welcome/ Consent Form 5-10 Min Briefing 10-45 Min Carry out the test tast 45-50 Min Post Test Questionnaire 50-55 Min Post Test Interview 55-60 Min Debrief/Pay Intencive Procedure The main step of procedure UT Contoh UT Plan Dashboard
Planning Skenario Usability Testing Based On Task User akan diminta melakukan pengujian sesuai dengan Goal Task yang ditugaskan meliputi : 1) Menilai tingkat kemudahan untuk mencari tipe mobil 2) Menilai tingkat kemudahan untuk register 3) Menilai tingkat kemudahan untuk melalukan offering cash 4) Menilai tingkat kemudahan untuk melalukan reminder order 5) Post Task & Post Test Questionnaire User diminta think out loud saat pengujian Akan direkam selama proses UT untuk kebutuhan evaluasi selanjutnya.
Planning Task 1 Proses Mencari Tipe Mobil Goal Task : Menilai tingkat kemudahan untuk mencari tipe mobil Skenario : Anda adalah seorang user yang baru saja menginstall aplikasi XXX di smartphone dan ingin mencari tipe mobil Innova G pada aplikasi XXX. Task : Silahkan Anda melakukan proses pencarian tipe mobil Innova G pada aplikasi XXX. Pre Conditions : User belum register ke aplikasi Pastikan aplikasi Lookback sudah terinstall dan sudah dapat merekam. Agar saat akan memulai sesi, partisipan diingatkan untuk memposisikan handphone dengan benar sehingga wajah partisipan terekam dengan benar oleh Lookback.
Excecuting Proses usability testing dilakukan oleh partisipan, fasilitator, dan observer. Proses usability testing akan direkam oleh alat bantu lookback Task dan skenario yang ditampilkan pada Surveymonkey
Excecuting
Reporting Paramater report: Negative Finding System Usability Scale Single Easy Question Time Completion Net Promoter Score
Reporting
Reporting System Usability Scale (SUS) Pertanyaan SUS Aplikasi OtoDeal System usability scale (SUS) is a simple, ten-item attitude Likert Scale giving a global view of subjective assessments of Usability The average SUS score from all 500 studies is a 68. A SUS score above a 68 would be considered above average and anything below 68 is below average Setujunetral Sangat Setuju Keterangan : 1 2 3 4 Sangat tdk setuju 5 Tidak Setuju Scoring Method : Pertanyaan Ganjil : Jawaban - 1 Pertanyaan Genap : 5 Score Jawaban SUS Score : {(Jumlah Subtotal Pertanyaan 1-10) x 2.5} : jumlah responden No Pertanyaan Rakhman Aji Lamhot Ega Patricia 1 Saya rasa saya akan sering menggunakan aplikasi ini 3 4 2 4 4 2 Saya rasa aplikasi ini terlalu rumit, padahal bisa lebih disederhanakan 3 4 2 2 2 3 Saya rasa aplikasi ini mudah untuk digunakan 3 4 2 4 4 4 Saya rasa saya membutuhkan bantuan dari orang teknis untuk dapat menggunakan aplikasi ini 3 4 2 2 2 5 Saya menemukan bahwa terdapat berbagai macam fungsi yang terintegrasi dengan baik dalam aplikasi ini 4 4 4 4 4 6 Saya rasa terdapat banyak hal yang tidak konsisten pada aplikasi ini 2 1 2 2 2 7 Saya rasa mayoritas pengguna akan belajar menggunakan aplikasi ini dengan cepat 4 3 2 3 2 8 Saya menemukan bahwa aplikasi ini sangat tidak praktis 2 4 4 4 4 9 Saya sangat percaya diri dalam menggunakan aplikasi ini 4 4 2 4 4 10 Saya harus belajar banyak hal terlebih dahulu sebelum saya dapat menggunakan aplikasi ini 2 2 2 2 4 Average = 60,5 65,0 60,0 50,0 67,5 60,0 Score 60,5 < Score rata2 68
Reporting Time Completion Data Responden NO Nama Participant Time Complete (Menit) Task 1 Task 2 Task 3 Task 4 Task 5 Task 6 Task 7 1 Rakhman Imansyah TELKOM DDS 2,7 2,3 1,4 3,2 1,8 11,4 2 Aji Widodo DDS Telkom 1,4 1,1 1,2 1 0,2 5,9 3 Lamhot Simamora PT Telekomunikasi Indonesia 1,7 0,8 1 2,5 4 2 3,6 4 Ega Noviano Free Lance 2 1,3 0,5 4,1 1,2 3,6 5 Patricia Gaspersz Telkom 1,3 0,6 1,9 3,6 0,9 1,6 3,9 Time Complete Rate 1,8 1,2 1,2 2,7 1,2 1,4 5,7
Reporting Diagram Tingkat Kemudahan dari SEQ 0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 Task 1 : Menilai tingkat kemudahanuntuk mencari tipe mobil Task 2 : Menilai tingkat kemudahanuntuk register Task 3 : Menilai tingkat kemudahanuntuk ngosiasi dengan pembayarancash Task 4 : Menilai tingkat kemudahanuntuk melihat progress status Task 5 : Menilai tingkat kemudahanuntuk melakukan reminder order Task 6 : Menilai tingkat kemudahanuntuk melihat status order Task 7 : Menilai tingkat kemudahanuntuk melakukan order SEQ UT Apps Oto Deal Tingkat kemudahan penggunaan aplikasi OtoDeal oleh user relatif mudah, walaupun terdapat dua task yang masuk dalam tingkat yang kurang baik yaitu task 5 (Reminder Order) dan task 7 (Proses Order). Namun pengalaman selama UT, 2 user kurang mengerti dengan proses reminder order karna dalam fikiran user untuk menunda order itu dengan cancel order atau do nothing sehingga harapannya sales yang mengingatkan bukan user yang harus merimender. Skala Tingkat Kemudahan: Sangat Sulit Sangat Mudah 1 2 3 4 5 6 7 6.0 6.0 5.8 4.2 5.2 5.2 6.8
Reporting Net Promoter Scorer (NPS) Promoters : 2 (40,00 %) Passives : 2 (40,00 %) Detractors : 1 (20,00 %) NPS : 20,00 % > Rata-rata 31% = 40,00 % - 20,00 % = 20,00 % Source : https://experiencematters.files.wordpress.com/2015/10/1510_nps_industryranges.png Nilai NPS average untuk sebuah aplikasi adalah 31% Nilai NPS berada diatas rata- rata http://www.npscalculator.com/en
UI/UX Heuristic Evaluation & Usability Testing [OCACourse X uxspecialty]

More Related Content

UI/UX Heuristic Evaluation & Usability Testing [OCACourse X uxspecialty]

  • 2. Speaker: Two years experience in heuristic evaluation and usability testing planning, execution, analysis and recommendation. A lot off (42) digital product already Evaluated including e-commerce, financial, media, telecommunications, education, and non-profits. Dewi Mulansari A.Md UX Research Job Title UX Research PT Telekomunikasi Indonesia. Chief of Business Development UX Specialty. One year experience in heuristic evaluation and usability testing planning, execution, analysis and recommendation. A lot off (12) digital product already Evaluated including media, telecommunications, education, and non-profits. Noor Azizah UX Research Job Title UX Research PT Telekomunikasi Indonesia. Chief of Business Alliance UX Specialty.
  • 3. Agenda : 09:30-10:30 Heuristic Evaluation Theory 10:30-10:45 Break 10:45-11:45 Usability Testing Theory
  • 6. 1. Visibility of system status User harus selalu diinformasikan apa yang terjadi
  • 7. 2. Match between system and the real world Harus bicara dengan bahasa user (yang familiar dengan user)
  • 8. 3. User control and freedom Memberikan opsi keluar dari kondisi yang tidak diinginkan.
  • 9. 4. Consistency and standards Tidak boleh menggunakan bahasa yang tidak standar
  • 10. 5. Error Prevention Mengantisipasi kemungkinan error sedini mungkin oleh user.
  • 11. 6. Recognition rather than recall Mengurangi memory load user dengan menampilkan opsi, objek secara visual.
  • 12. 7. Flexibility and efficiency of use Memberikan fungsi shortcut memudahkan user.
  • 13. 8. Aesthetic and minimalist design Informasi yang ditampilkan hanya yang saling terkait
  • 14. 9. Help users recognize, diagnose, and recover from errors Indikasi permasalahan harus sesuai dengan yang terjadi serta memberikan informasi solusinya.
  • 15. 10. Help and documentation Dokumentasi petunjuk.
  • 16. Bagaimana melakukan Heuristic Evaluation Figure 1 Ilustrasi tersebut menampilkan evaluator yang menemukan masalah Usability , dengan menggunakan Heuristic evaluation dari sebuah system perbankan. Setiap baris mewakili salah satu dari 19 Evaluator dan setiap kolom mewakili salah satu dari 16 masalah Usability. Kotak hitam menunjukan masalah Usability dan yang putih berarti evaluator tidak menemukan masalahnya. Baris telah diatur sedemikian rupa sehingga evaluator yang menemukan masalah paling banyak berada di bagian paling bawah, sedangkan yang diatas yang tidak terlalu banyak menemukan masalah. Begitu pun dengan kolom, telah diurut juga sehingga masalah Usability yang paling mudah ditemukan disebelah kanan, dan yang paling sulit ditemukan disebelah kiri.
  • 17. Determining the Number of Evaluators Figure 2 Kurva menunjukkan proporsi masalah Usability dalam Interface yang ditemukan dengan menggunakan Heuristic Evaluation dengan menggunakan jumlah evaluator yang berbeda. Kurva mewakili rata-rata enam studi kasus evaluasi heuristik. Figure 3 Kurva menunjukan berapa banyak manfaat biaya untuk Proses heuristic Evaluasi dari sample projek menggunakan asumsi yang dibahas dalam teks. Jumlah evaluator yang optimal dalam contoh ini adalah 4, dengan manfaat 62 kali lebih besar daripada biayanya.
  • 18. Factor severity rating Severity Rating dapat digunakan untuk mengalokasikan sumber daya terbanyak untuk memperbaiki masalah yang paling serius dan juga dapat memberikan perkiraan kasar tentang perlunya upaya Usability tambahan. Jika Severity Rating menunjukkan bahwa beberapa masalah Usability menunjukkan Disaster dan tetap ada pada Interface, mungkin tidak disarankan untuk merilisnya. Tetapi orang mungkin memutuskan untuk melanjutkan dengan merilis sistem dengan beberapa masalah Usability jika mereka semua dinilai sebagai cosmetic. Severity Rating Scale 0 = I don't agree that this is a usability problem at all 1 = Cosmetic problem only: need not be fixed unless extra time is available on project 2 = Minor usability problem: fixing this should be given low priority 3 = Major usability problem: important to fix, so should be given high priority 4 = Usability catastrophe: imperative to fix this before product can be released How to rate the severity of usability problem
  • 19. Severity Rating Heuristic Evaluation Severity ratings from a single evaluator are too unreliable to be trusted. Using the mean of a set of ratings from three evaluators is satisfactory for many practical purposes. If the severity ratings indicate that several disastrous usability problems remain in an interface, it will probably be unadvisable to release it. How to rate the severity of usability problem
  • 21. Contoh kasus: Negative Finding: Saat button copy di tekan tidak ada aksi, sehingga user bingung bagaimana cara copy kode pembayarannya Rekomendasi: Perbaikan performansi, agar Button Copy dapat berfungsi Severity Rating: 3 1. Visibility of system status
  • 22. Contoh kasus: Negative Finding: Tidak terlihat scroll bar pada halaman, sehingga user tidak mengetahui bahwa halaman belum berakhir. Rekomendasi: Perbaikan design halaman, dengan menambahkan Scroll Bar. Severity Rating: 3 4. Consistency and standards
  • 23. Contoh kasus: Negative Finding: Form pengisian lainnya tertutup oleh Virtual keyboard, sehingga user tidak dapat membaca apa yang sedang dituliskan. Rekomendasi: Perbaikan design halaman, dengan membuat layar terscroll keatas secara otomatis jika user sedang melakukan pengetikan. Severity Rating: 3 6. Recognition rather than recall
  • 24. 4 stage UX process include research, design, testing and build UX Research UX Build UX Design UX Testing Iterate Source : Objective Digital (UX Consultant Australia), TelkomRDC Proses design user experience (best practice) UX Research UX Build UX Design UX Testing
  • 25. Apa itu Usability Testing?
  • 26. User Centered Interaction Design Usability Testing Usability Test is a technique used in user-centered interaction design to evaluate a product by testing it on users It gives direct input on how real users use the system (Nielsen, Usability Engineering, 1994) Salah satu user centered interaction design adalah pelaksanaan Usability Testing (UX research) untuk mendapatkan voice of user secara langsung dan natural. Yaitu aktivitas observasi terhadap pengguna ketika menggunakan aplikasi. Partisipan/userFasilitator
  • 29. Usability Attributes a. Learnability b. Efficiency c. Memorability d. Errors e. Satisfaction Usability adalah interaksi smooth pengguna
  • 30. Success & Satisfaction Bila user sukses melakukan task maka user juga puas.
  • 31. Return and investments Usability testing dapat memberikan peningkatan sbb: Pelaksanaan Usability Testing minimal 2.6 kali untuk mendapatkan kematangan design.
  • 32. 85% system problems can be identified (Lewis, Determining Usability Test Sample Size, 2006) Proven in more than 83 case studies (Nielsen, How Many Test Users in a Usability Study, 2012) How many users to test?? 5Users are enough
  • 33. Contoh hasil proses usability testing
  • 34. Q: When should I usability test? A: You can and should test any time (Now!)
  • 36. Tahapan Usability Testing Planning Excecuting Reporting
  • 37. Planning Diskusi dengan Product Owner & Developer Formulasi goal, scenario & task UT Plan Dashboard Rekrutasi peserta Usability Testing Setting UT Tools
  • 38. Planning PRODUCT UNDER TEST Being tested : Aplikasi mobile Android XXX. Fitur saat test : Melakukan pencarian tipe mobil, Melakukan register, melakukan offering Cash,melakukan reminder order, BUSINESS CASE Why: - Kebutuhan validasi experience User menggunakan aplikasi mobile XXX. Benefits: - Meningkatkan traffic pengguna - Meningkatkan transaksi. TEST OBJECTIVES Goals: Apakah user dapat dengan mudah mengetahui cara mencari tipe mobil, cara register, cara melakukan offering, melakukan reminder order Apakah flow yang diimplementasikan pada aplikasi sudah sesuai dengan mental model dari user? PARTICIPANTS Bandung Key Character : 5 orang pengguna baru. EXISTING DESIGN Aplikasi XXXX EQUIPMENT Smartphone Desktop Aplikasi lookback TEST TASKS 1. Melakukan pencarian tipe mobil 2. Melakukan register 3. Melakukan offering cash 4. Melakukan reminder order 5. Melakukan deal. Post Task & Test Questionnaire : - Post task - Post test (SUS & NPS) LOCATION & DATES Lokasi : Bali Date : 30 Juli 2018 RESPONSIBILITIES Facilitator, Observer: Dewi Tech Support/observer: Noor 0-5 Min Welcome/ Consent Form 5-10 Min Briefing 10-45 Min Carry out the test tast 45-50 Min Post Test Questionnaire 50-55 Min Post Test Interview 55-60 Min Debrief/Pay Intencive Procedure The main step of procedure UT Contoh UT Plan Dashboard
  • 39. Planning Skenario Usability Testing Based On Task User akan diminta melakukan pengujian sesuai dengan Goal Task yang ditugaskan meliputi : 1) Menilai tingkat kemudahan untuk mencari tipe mobil 2) Menilai tingkat kemudahan untuk register 3) Menilai tingkat kemudahan untuk melalukan offering cash 4) Menilai tingkat kemudahan untuk melalukan reminder order 5) Post Task & Post Test Questionnaire User diminta think out loud saat pengujian Akan direkam selama proses UT untuk kebutuhan evaluasi selanjutnya.
  • 40. Planning Task 1 Proses Mencari Tipe Mobil Goal Task : Menilai tingkat kemudahan untuk mencari tipe mobil Skenario : Anda adalah seorang user yang baru saja menginstall aplikasi XXX di smartphone dan ingin mencari tipe mobil Innova G pada aplikasi XXX. Task : Silahkan Anda melakukan proses pencarian tipe mobil Innova G pada aplikasi XXX. Pre Conditions : User belum register ke aplikasi Pastikan aplikasi Lookback sudah terinstall dan sudah dapat merekam. Agar saat akan memulai sesi, partisipan diingatkan untuk memposisikan handphone dengan benar sehingga wajah partisipan terekam dengan benar oleh Lookback.
  • 41. Excecuting Proses usability testing dilakukan oleh partisipan, fasilitator, dan observer. Proses usability testing akan direkam oleh alat bantu lookback Task dan skenario yang ditampilkan pada Surveymonkey
  • 43. Reporting Paramater report: Negative Finding System Usability Scale Single Easy Question Time Completion Net Promoter Score
  • 45. Reporting System Usability Scale (SUS) Pertanyaan SUS Aplikasi OtoDeal System usability scale (SUS) is a simple, ten-item attitude Likert Scale giving a global view of subjective assessments of Usability The average SUS score from all 500 studies is a 68. A SUS score above a 68 would be considered above average and anything below 68 is below average Setujunetral Sangat Setuju Keterangan : 1 2 3 4 Sangat tdk setuju 5 Tidak Setuju Scoring Method : Pertanyaan Ganjil : Jawaban - 1 Pertanyaan Genap : 5 Score Jawaban SUS Score : {(Jumlah Subtotal Pertanyaan 1-10) x 2.5} : jumlah responden No Pertanyaan Rakhman Aji Lamhot Ega Patricia 1 Saya rasa saya akan sering menggunakan aplikasi ini 3 4 2 4 4 2 Saya rasa aplikasi ini terlalu rumit, padahal bisa lebih disederhanakan 3 4 2 2 2 3 Saya rasa aplikasi ini mudah untuk digunakan 3 4 2 4 4 4 Saya rasa saya membutuhkan bantuan dari orang teknis untuk dapat menggunakan aplikasi ini 3 4 2 2 2 5 Saya menemukan bahwa terdapat berbagai macam fungsi yang terintegrasi dengan baik dalam aplikasi ini 4 4 4 4 4 6 Saya rasa terdapat banyak hal yang tidak konsisten pada aplikasi ini 2 1 2 2 2 7 Saya rasa mayoritas pengguna akan belajar menggunakan aplikasi ini dengan cepat 4 3 2 3 2 8 Saya menemukan bahwa aplikasi ini sangat tidak praktis 2 4 4 4 4 9 Saya sangat percaya diri dalam menggunakan aplikasi ini 4 4 2 4 4 10 Saya harus belajar banyak hal terlebih dahulu sebelum saya dapat menggunakan aplikasi ini 2 2 2 2 4 Average = 60,5 65,0 60,0 50,0 67,5 60,0 Score 60,5 < Score rata2 68
  • 46. Reporting Time Completion Data Responden NO Nama Participant Time Complete (Menit) Task 1 Task 2 Task 3 Task 4 Task 5 Task 6 Task 7 1 Rakhman Imansyah TELKOM DDS 2,7 2,3 1,4 3,2 1,8 11,4 2 Aji Widodo DDS Telkom 1,4 1,1 1,2 1 0,2 5,9 3 Lamhot Simamora PT Telekomunikasi Indonesia 1,7 0,8 1 2,5 4 2 3,6 4 Ega Noviano Free Lance 2 1,3 0,5 4,1 1,2 3,6 5 Patricia Gaspersz Telkom 1,3 0,6 1,9 3,6 0,9 1,6 3,9 Time Complete Rate 1,8 1,2 1,2 2,7 1,2 1,4 5,7
  • 47. Reporting Diagram Tingkat Kemudahan dari SEQ 0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 Task 1 : Menilai tingkat kemudahanuntuk mencari tipe mobil Task 2 : Menilai tingkat kemudahanuntuk register Task 3 : Menilai tingkat kemudahanuntuk ngosiasi dengan pembayarancash Task 4 : Menilai tingkat kemudahanuntuk melihat progress status Task 5 : Menilai tingkat kemudahanuntuk melakukan reminder order Task 6 : Menilai tingkat kemudahanuntuk melihat status order Task 7 : Menilai tingkat kemudahanuntuk melakukan order SEQ UT Apps Oto Deal Tingkat kemudahan penggunaan aplikasi OtoDeal oleh user relatif mudah, walaupun terdapat dua task yang masuk dalam tingkat yang kurang baik yaitu task 5 (Reminder Order) dan task 7 (Proses Order). Namun pengalaman selama UT, 2 user kurang mengerti dengan proses reminder order karna dalam fikiran user untuk menunda order itu dengan cancel order atau do nothing sehingga harapannya sales yang mengingatkan bukan user yang harus merimender. Skala Tingkat Kemudahan: Sangat Sulit Sangat Mudah 1 2 3 4 5 6 7 6.0 6.0 5.8 4.2 5.2 5.2 6.8
  • 48. Reporting Net Promoter Scorer (NPS) Promoters : 2 (40,00 %) Passives : 2 (40,00 %) Detractors : 1 (20,00 %) NPS : 20,00 % > Rata-rata 31% = 40,00 % - 20,00 % = 20,00 % Source : https://experiencematters.files.wordpress.com/2015/10/1510_nps_industryranges.png Nilai NPS average untuk sebuah aplikasi adalah 31% Nilai NPS berada diatas rata- rata http://www.npscalculator.com/en