Moderování testů použitelnosti - Jakub Franc
•
5 likes•979 views
Přednáška v rámci Prague ACM SIGCHI.
Moderování testů použitelnosti - Jakub Franc
- 2. Nic z toho, co tu dnes uslyšíte, nemusí být pravda. Lhář
- 3. Klasické uspořádání testu Děkuju, Zdeňku
- 4. Cílem testování použitelnosti je: ᾱšťDZáí problémů v použitelnosti
- 5. ᾱšťDZáí problémů v použitelnosti Pochopení přirozeného chování uživatele
- 6. ᾱšťDZáí problémů v použitelnosti Pochopení přirozeného chování uživatele Zlepšení UX
- 7. ᾱšťDZáí problémů v použitelnosti Pochopení přirozeného chování uživatele Získání týmu pro změnu Zlepšení UX
- 8. ᾱšťDZáí problémů v použitelnosti Pochopení přirozeného chování uživatele Získání týmu pro změnu Posun firemní kultury ve směru UX Zlepšení UX
- 9. ᾱšťDZáí problémů Výzkumný v použitelnosti Pochopení přirozeného nástroj chování uživatele Získání týmu pro změnu Posun firemní kultury ve směru UX Zlepšení UX
- 10. ᾱšťDZáí problémů Výzkumný v použitelnosti Pochopení přirozeného nástroj chování uživatele Získání týmu pro změnu Posun firemní kultury ve směru UX Zlepšení UX
- 11. ᾱšťDZáí problémů Výzkumný v použitelnosti Pochopení přirozeného nástroj chování uživatele Získání týmu pro změnu Posun firemní kultury ve směru UX Zlepšení UX
- 12. Nástroj změny ᾱšťDZáí problémů v použitelnosti Pochopení přirozeného chování uživatele Získání týmu pro změnu Posun firemní kultury ve směru UX Zlepšení UX
- 14. Měření úspěšnosti testování Výzkumný nástroj Kritérium: počet nalezených problémů v použitelnosti Nástroj změny Kritérum: počet pozorovatelů během testu
- 15. 3 role moderátora podle Jareda Spoola (2008) Vědec Sportovní komentátor Letuška
- 16. DZí Chování výpověď Co lidé říkají a co lidé dělají, jsou dvě zcela odlišné věci. Margaret Mead
- 17. Myšlení nahlas Verbalizování obsahů vědomí během vykonávání úkolu Ericsson a Simon (1984) “Think aloud protocol” Mentální procesy a obsahy procházejí krátkodobou pamětí a tam jsou přístupné verbálnímu sdělení
- 18. Myšlení nahlas - kritika Nevědomé obsahy Nesdělitelné obsahy Interference s primárním úkolem Zahlcení Chybné prompty Přesměrování pozornosti
- 19. Jak se neptat Líbí se vám to? Je to jednoduché? Je to to, co byste zde očekával/a?
- 20. Index blábolení (Molich, 2010 ) index blábolení = čas, kdy mluví moderátor nebo participant nabízí své názory / celkový čas studie Obvykle: až 0.30 Ideál: 0.05 - 0.10
- 21. S čím participant přichází Neví, co očekávat Neví, co je očekáváno od něj Je nervózní Nechce si připadat hloupě
- 22. Vztah mezi vámi a participantem Jste autoritou (vzbuzuje širokou škálu reakcí od vzdoru po submisivní chování) Participant neví, co od vás očekávat (fantazie dokáže divy) Vy platíte (syndrom zaměstnance) Dotýkáte se sebevědomí participanta (vzbuzuje širokou škálu reakcí od úzkosti po přehnanou motivaci)
- 23. Vliv stresu na ýDz
- 24. Role moderátora Sledovat výzkumné cíle Zprostředkovat kontakt mezi pozorovateli a participantem Postarat se o participanta Postarat se o pozorovatele Zaměřit participanta na úkoly Posouvat studii kupředu podle scénáře
- 25. Prostředky interakce s participantem Verbální 20% Neverbální 80%
- 26. Etické principy Nonmaleficence Beneficence Ochrana osobních údajů
- 27. Fáze testování
- 28. Příprava na test Před testem Důkladné seznámení se se scénářem Sestavení checklistu Mezi sezeními probrat s pozorovateli průběh posledního sezení seznámit sebe i pozorovatele s profilem participanta vydechnout si
- 29. Lámání ledů Pomožte participantů překonat prvotní stres a úzkost. První momenty určují podobu celého sezení Navažte raport “Diagnostická fáze”
- 30. Úvodní fáze Vytvoření bezpečného rámce Netestujeme participanta, ale produkt Uživatel je v pořádku, design někdy selhává Nejsou správné a špatné odpovědi Popis celé situace Nahrávání Podepsání smlouvy
- 31. Rozhovor před testem Zjišťuje data nutná pro interpretaci participantova chování v reálném čase Případné ověření naplnění rekrutovacích kritérií Nevyzraďte svými otázkami víc než je nutné
- 32. Sběr dat Zachovat neutrální, nehodnotící postoj Nepoužívání návodných instrukcí / otázek Nepoužívání jiných intervencí než těch zcela nezbytných (nepřirozené přesunutí pozornosti, změna workflow) Soustředit se na přirozené chování uživatele
- 33. Rozhovor po testu Celkové posouzení, často kvantitativní Lidé často fabulují, když si nepamatují, co a proč udělali před několika minutami Někdy opakovaný průchod úkolem
- 34. Debriefing Ujistěte se, v jakém stavu participant odchází Nechte ho vyjádřit své pocity
- 36. Dominantní participant Vy jste ten, kdo řídí sezení Připomeňte kontext testové situace Často je původ dominantního chování v úzkosti (vaší úzkosti?)
- 37. Nejistý participant Nejistota projevená skrze: nemluvení nebo nebo přílišné mluvení zakrývání motivů výrazně extrapunitivní nebo intrapunitivní jednání Přesměrujte pozornost k cílům studie Připomeňte rámec testu
- 38. Expert Designuje, extrapoluje na ostatní Zdůrazňujte důležitost jejich vlastní zkušenosti, “ostatní” jsou ve vašem vzorku zastoupeni Profesionálové by měli být během rekrutingu vyřazeni
- 39. Nevhodný participant Chyby v rekrutingu jsou poměrně časté Mohu zde něco zjistit?
- 41. Příliš pečující moderátor Vaším cílem je v první řadě naplnění cílů testu Malá nepohoda participanta nemusí být na škodu Pomůžete i zbylým 100 tisícům uživatelům? Zdržte se pochval
- 42. Příliš aktivní moderátor Vaše role spočívá v pozorování, jak se testová situace vyvíjí Mluviti stříbro, mlčeti zlato
- 43. Omnipotentní moderátor Každá metoda má svoje omezení Klíčem je pozorování a naslouchání Vynechte otázky začínající slovem “kdyby”
- 44. Co si odtud odnést? Vy jste zodpovědní za výsledek testování. Testování má pomoci ke zlepšení UX produktu. Ostatní pozorovatelé nejsou zběhlí v interpretaci pozorování testu. Klíčem je chování, ne slova. Vaši participanti často přicházejí s úzkostí. Nezapomeňte ani na jednu stranu hřiště.
- 45. Chcete se dozvědět víc? Userfocus: Usability Test Moderation Comics Dumas, J., Loring, B.:Moderating Usability Tests Kuniavsky, M.: Observing The User Experience Lazar: Research Methods in Computer-Human Interaction
- 46. Chcete se naučit víc? Trénujte Trénujte Trénujte (pokud možno se supervizí nebo intervizí)