ݺߣ

ݺߣShare a Scribd company logo

WUD 2009 - Różne sposoby badania użyteczności w społecznościach internetowych

•
•
World Usability Day Tour 2009
World Usability Day Tour 2009

Prezentacja Pawła Haltofa z YUUX w ramach World Usability Day Tour 2009!

1 of 39
Precyzyjny punkt widzenia
Precyzyjny punkt widzenia Sposoby badania użyteczności w społecznościach internetowych Czyli 5 sposobów na udane badania użyteczności w społecznościach
Precyzyjny punkt widzenia Paweł Haltof, YUUX Research Director
Precyzyjny punkt widzenia Inspiracja Październik, 2008 • Zespół na szybko tworzy mechanizm jak „zarodek” mechanizmu społecznościowego DailyChallenge.org • Małe dzienne kreatywne wyzwania mogą zmienid cały świat
Precyzyjny punkt widzenia Inspiracja Marzec, 2009 • Po 5 miesiącach prezentowana jest nowa wersja serwisu z wieloma usprawnieniami, podwyższoną użytecznością i zmienioną nawigacją
Precyzyjny punkt widzenia
Precyzyjny punkt widzenia Czy użytecznośd zginie?
Precyzyjny punkt widzenia
Precyzyjny punkt widzenia Użytecznośd w społecznościach vs strony informacyjne 1. Aktywności i kontent są generalnie stymulowane przez użytkowników
Precyzyjny punkt widzenia Użytecznośd w społecznościach vs strony informacyjne 1. Aktywności i kontent są generalnie stymulowane przez użytkowników 2. Potrzebą użytkowników są zachowania na stronie np.: interakcja z innymi, pisanie postów, ocenianie, itp..
Precyzyjny punkt widzenia Użytecznośd w społecznościach vs strony informacyjne 1. Aktywności i kontent są generalnie stymulowane przez użytkowników 2. Potrzebą użytkowników są zachowania na stronie np.: interakcja z innymi, pisanie postów, ocenianie, itp. 3. Oczekujemy, że użytkownicy będą powracad na stronę i kontynuowad rozpoczęte czynności
Precyzyjny punkt widzenia Test 1
Precyzyjny punkt widzenia W takim razie jak badad użytecznośd w społeczności? • Test 1: – Znajdź super społecznośd – Zacznij w aktywnie uczestniczyd – Spisuj swoje aktywności i doświadczenia wraz ze szczegółami interakcji
WUD 2009 - Różne sposoby badania użyteczności w społecznościach internetowych
Precyzyjny punkt widzenia Test 1. • Metoda dzienniczkowa - spisujemy wszystkie aktywności wraz z doświadczeniami Wady: Skomplikowana analiza – dużo danych Zalety: analizuje czasowe zależności i ich charakter, wskazuje na konkretne relacje ze znajomymi
Precyzyjny punkt widzenia Test 2
Precyzyjny punkt widzenia W takim razie jak badad użytecznośd w społeczności? • Test 2: – Zaproś użytkownika wraz z znajomymi do badania – Poproś ich o zalogowanie się do społeczności w tym samym czasie (z wielu komputerów jednocześnie) – Obserwuj jedną osobę i analizuj zachowania użytkownika względem całej grupy Unmoderated User Testing
Precyzyjny punkt widzenia Osoba badana Obserwator Osoba badana Obserwacja użytkownika Pozostali użytkownicy podłączeni on-line do osoby badanej w Laboratorium
Precyzyjny punkt widzenia Społecznośd Gaminator.pl Testy 10 osób, w wieku 17-33 lat na działającej wersji serwisu Gaminator.pl
Precyzyjny punkt widzenia Test 2. • Metoda testów niemoderowanych –nadajemy interpretacje specyficznym zachowaniom użytkownika Wady: Wymaga stymulacji do działania, trudna synchronizacja osób w czasie badania, trudno dobrad odpowiednie badania Zalety: analizujemy bez wpływu na użytkownika - naturalne reakcje Link Powodzenie aktywacji
Precyzyjny punkt widzenia Test 3
Precyzyjny punkt widzenia W takim razie jak badad użytecznośd w społeczności? • Test 3: – Znajdź super społecznośd – Każdy uczestnik wykonuje zadania ze swojego komputera zdalnie (plug-in) – Analizuje dane z wykonania konkretnych akcji w zadaniach Remote User Testing
Precyzyjny punkt widzenia Test 4
Precyzyjny punkt widzenia W takim razie jak badad użytecznośd w społeczności? • Test 4: – Znajdź super społecznośd – Wyślij do wielu użytkowników ankietę o zachowaniach – Analizuje dane statystyczne Remote Research 4 7 5 2 4 1 3 6 0 0 1 0 z łatwością z trudnością nieukooczone
Precyzyjny punkt widzenia Badania jako wiedza pochodząca ze społeczności
Precyzyjny punkt widzenia Doświadczenia są łatwo dostępne • Poznaj doświadczenia użytkowników – czyli to co już napisali o problemach (analiza treści serwisów internetowych)
Precyzyjny punkt widzenia Motywuj grupy zaangażowanych • Poznaj doświadczenia innych użytkowników – poprzez stworzenie im specjalnych miejsc grupowania problemów i pomysłów
Precyzyjny punkt widzenia Analizuj istniejące środowisko • Nieskuteczne systemy możemy sprawdzid w istniejących społecznościach • Nie warto eksperymentowad jeśli rozwiązania już kilka razy się nie sprawdziły (lokalizacja profilu na mapie) • Warto zauważyd dlaczego niektóre z pomysłów się sprawdziły (quizy)
Precyzyjny punkt widzenia Porównanie mechanizmów przez publikacją na dwóch grupach (testy A/B) • Systemy można przetestowad w wąskich grupach przez publikacją (testy nowego interfejsu na Yahoo!)
Precyzyjny punkt widzenia Zapytaj bezpośrednio użytkowników • Wybierz użytkowników ze społeczności, z bagażem doświadczeo i nawiąż z nimi kontakt • Zaproś użytkowników na badania – przeprowadź wywiad • Wybierz użytkowników ze społeczności, z bagażem doświadczeo i zbadaj ich w sytuacji laboratorium
Precyzyjny punkt widzenia Zalety  przejrzysty sposób pogrupowania informacji  stosunkowa łatwośd korzystania z serwisu  ilośd informacji, ich obiektywnośd (weryfikacja przez większą grupę czytelników)  mnogośd przydatnych informacji, szata graficzna,  zawansowana edycja  na tej stronie człowiek znajdzie to, czego szuka  możliwośd dodawania własnych materiałów  serwis zawsze jest dostępny i bez przerwy aktualizowany Wady  kilka obszarów nie jest wystarczająco precyzyjnie opisanych (np. profil użytkownika)  czas weryfikacji niektórych dodanych screenów i innych materiałów jest zbyt długi zalety i wady serwisu Gaminator.pl?
Precyzyjny punkt widzenia Efektywnośd – liczba błędów popełnionych w zadaniach 4 0 2 11 7 0 0 1 3 1 3 2 3 1 1 2 5 0 0 0 1 2 0 2 Liczba popełnionych błędów w zadaniach 4 0 2 11 7 0 0 1 3 1 3 2 3 1 1 2 5 0 0 0 1 2 0 2 Wypełnianie formularzy Błąd ładowania captcha i problemy z aktywacją konta Niewidocznośd zakładek „Ostatnie wypowiedzi” i „Ostatnie komentarze” Problem ze znalezieniem linku „Dodaj grę do lubionych”
Precyzyjny punkt widzenia Efektywnośd – liczba asyst potrzebnych do realizacji zadao 1 1 4 4 4 0 0 2 1 0 1 2 0 3 1 2 1 0 7 0 0 2 1 2 Liczba użytych asyst w zadaniach 1 1 4 4 4 0 0 2 1 0 1 2 0 3 1 2 1 0 7 0 0 2 1 2 Problem ze znalezieniem linku do edycji avatara, dodaniem gry do ulubionych oraz dodaniem gry do serwisu Trudności ze znalezieniem funkcji łączenia paneli
Precyzyjny punkt widzenia 2,5 1,3 1,9 6,2 4,0 1,5 3,9 1,4 2,1 1,9 1,5 2,5 1,7 2,1 0,7 0,9 1,7 0,3 1,7 0,2 0,9 0,7 0,6 1,5 0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 Średni czas wykonania zadao (minuty) Wydajnośd – jak czytad wyniki? Dodawanie video do serwisu zajęło osobom badanym średnio 6 minut Usunięcie zakładki recenzji średnio zajęło badanym 2 sekundy
Precyzyjny punkt widzenia Jaka jest przyszłośd badacza?
Precyzyjny punkt widzenia Przyszłośd badacz ulega zmianie • Produkty są coraz bardziej złożone • Komputeryzacja staje się coraz bardziej powszechna w każdym urządzeniu • Nowe produkty są coraz prostsze do samodzielnego stworzenia • Użytkownicy mogą projektowad własne rozwiązania
Precyzyjny punkt widzenia Rola badacza musi się zmienid • Nasza praca musi w znacznie większej mierze iteracyjna (Agile testing) • Wykorzystanie wszechobecności może byd dużą zaletą (dane z Flickr czy Twittera) • Wyjście badaczy z laboratorium do użytkownika (testy w terenie) • Włączanie użytkowników w proces projektowania (współuczestnictwo)
Precyzyjny punkt widzenia Użytecznośd w społecznościach …a co nas czeka za kolejne 10 lat?
Precyzyjny punkt widzenia Dziękujemy!

More Related Content

WUD 2009 - Różne sposoby badania użyteczności w społecznościach internetowych

  • 2. Precyzyjny punkt widzenia Sposoby badania użyteczności w społecznościach internetowych Czyli 5 sposobów na udane badania użyteczności w społecznościach
  • 3. Precyzyjny punkt widzenia Paweł Haltof, YUUX Research Director
  • 4. Precyzyjny punkt widzenia Inspiracja Październik, 2008 • Zespół na szybko tworzy mechanizm jak „zarodek” mechanizmu społecznościowego DailyChallenge.org • Małe dzienne kreatywne wyzwania mogą zmienid cały świat
  • 5. Precyzyjny punkt widzenia Inspiracja Marzec, 2009 • Po 5 miesiącach prezentowana jest nowa wersja serwisu z wieloma usprawnieniami, podwyższoną użytecznością i zmienioną nawigacją
  • 7. Precyzyjny punkt widzenia Czy użytecznośd zginie?
  • 9. Precyzyjny punkt widzenia Użytecznośd w społecznościach vs strony informacyjne 1. Aktywności i kontent są generalnie stymulowane przez użytkowników
  • 10. Precyzyjny punkt widzenia Użytecznośd w społecznościach vs strony informacyjne 1. Aktywności i kontent są generalnie stymulowane przez użytkowników 2. Potrzebą użytkowników są zachowania na stronie np.: interakcja z innymi, pisanie postów, ocenianie, itp..
  • 11. Precyzyjny punkt widzenia Użytecznośd w społecznościach vs strony informacyjne 1. Aktywności i kontent są generalnie stymulowane przez użytkowników 2. Potrzebą użytkowników są zachowania na stronie np.: interakcja z innymi, pisanie postów, ocenianie, itp. 3. Oczekujemy, że użytkownicy będą powracad na stronę i kontynuowad rozpoczęte czynności
  • 13. Precyzyjny punkt widzenia W takim razie jak badad użytecznośd w społeczności? • Test 1: – Znajdź super społecznośd – Zacznij w aktywnie uczestniczyd – Spisuj swoje aktywności i doświadczenia wraz ze szczegółami interakcji
  • 15. Precyzyjny punkt widzenia Test 1. • Metoda dzienniczkowa - spisujemy wszystkie aktywności wraz z doświadczeniami Wady: Skomplikowana analiza – dużo danych Zalety: analizuje czasowe zależności i ich charakter, wskazuje na konkretne relacje ze znajomymi
  • 17. Precyzyjny punkt widzenia W takim razie jak badad użytecznośd w społeczności? • Test 2: – Zaproś użytkownika wraz z znajomymi do badania – Poproś ich o zalogowanie się do społeczności w tym samym czasie (z wielu komputerów jednocześnie) – Obserwuj jedną osobę i analizuj zachowania użytkownika względem całej grupy Unmoderated User Testing
  • 18. Precyzyjny punkt widzenia Osoba badana Obserwator Osoba badana Obserwacja użytkownika Pozostali użytkownicy podłączeni on-line do osoby badanej w Laboratorium
  • 19. Precyzyjny punkt widzenia Społecznośd Gaminator.pl Testy 10 osób, w wieku 17-33 lat na działającej wersji serwisu Gaminator.pl
  • 20. Precyzyjny punkt widzenia Test 2. • Metoda testów niemoderowanych –nadajemy interpretacje specyficznym zachowaniom użytkownika Wady: Wymaga stymulacji do działania, trudna synchronizacja osób w czasie badania, trudno dobrad odpowiednie badania Zalety: analizujemy bez wpływu na użytkownika - naturalne reakcje Link Powodzenie aktywacji
  • 22. Precyzyjny punkt widzenia W takim razie jak badad użytecznośd w społeczności? • Test 3: – Znajdź super społecznośd – Każdy uczestnik wykonuje zadania ze swojego komputera zdalnie (plug-in) – Analizuje dane z wykonania konkretnych akcji w zadaniach Remote User Testing
  • 24. Precyzyjny punkt widzenia W takim razie jak badad użytecznośd w społeczności? • Test 4: – Znajdź super społecznośd – Wyślij do wielu użytkowników ankietę o zachowaniach – Analizuje dane statystyczne Remote Research 4 7 5 2 4 1 3 6 0 0 1 0 z łatwością z trudnością nieukooczone
  • 25. Precyzyjny punkt widzenia Badania jako wiedza pochodząca ze społeczności
  • 26. Precyzyjny punkt widzenia Doświadczenia są łatwo dostępne • Poznaj doświadczenia użytkowników – czyli to co już napisali o problemach (analiza treści serwisów internetowych)
  • 27. Precyzyjny punkt widzenia Motywuj grupy zaangażowanych • Poznaj doświadczenia innych użytkowników – poprzez stworzenie im specjalnych miejsc grupowania problemów i pomysłów
  • 28. Precyzyjny punkt widzenia Analizuj istniejące środowisko • Nieskuteczne systemy możemy sprawdzid w istniejących społecznościach • Nie warto eksperymentowad jeśli rozwiązania już kilka razy się nie sprawdziły (lokalizacja profilu na mapie) • Warto zauważyd dlaczego niektóre z pomysłów się sprawdziły (quizy)
  • 29. Precyzyjny punkt widzenia Porównanie mechanizmów przez publikacją na dwóch grupach (testy A/B) • Systemy można przetestowad w wąskich grupach przez publikacją (testy nowego interfejsu na Yahoo!)
  • 30. Precyzyjny punkt widzenia Zapytaj bezpośrednio użytkowników • Wybierz użytkowników ze społeczności, z bagażem doświadczeo i nawiąż z nimi kontakt • Zaproś użytkowników na badania – przeprowadź wywiad • Wybierz użytkowników ze społeczności, z bagażem doświadczeo i zbadaj ich w sytuacji laboratorium
  • 31. Precyzyjny punkt widzenia Zalety  przejrzysty sposób pogrupowania informacji  stosunkowa łatwośd korzystania z serwisu  ilośd informacji, ich obiektywnośd (weryfikacja przez większą grupę czytelników)  mnogośd przydatnych informacji, szata graficzna,  zawansowana edycja  na tej stronie człowiek znajdzie to, czego szuka  możliwośd dodawania własnych materiałów  serwis zawsze jest dostępny i bez przerwy aktualizowany Wady  kilka obszarów nie jest wystarczająco precyzyjnie opisanych (np. profil użytkownika)  czas weryfikacji niektórych dodanych screenów i innych materiałów jest zbyt długi zalety i wady serwisu Gaminator.pl?
  • 32. Precyzyjny punkt widzenia Efektywnośd – liczba błędów popełnionych w zadaniach 4 0 2 11 7 0 0 1 3 1 3 2 3 1 1 2 5 0 0 0 1 2 0 2 Liczba popełnionych błędów w zadaniach 4 0 2 11 7 0 0 1 3 1 3 2 3 1 1 2 5 0 0 0 1 2 0 2 Wypełnianie formularzy Błąd ładowania captcha i problemy z aktywacją konta Niewidocznośd zakładek „Ostatnie wypowiedzi” i „Ostatnie komentarze” Problem ze znalezieniem linku „Dodaj grę do lubionych”
  • 33. Precyzyjny punkt widzenia Efektywnośd – liczba asyst potrzebnych do realizacji zadao 1 1 4 4 4 0 0 2 1 0 1 2 0 3 1 2 1 0 7 0 0 2 1 2 Liczba użytych asyst w zadaniach 1 1 4 4 4 0 0 2 1 0 1 2 0 3 1 2 1 0 7 0 0 2 1 2 Problem ze znalezieniem linku do edycji avatara, dodaniem gry do ulubionych oraz dodaniem gry do serwisu Trudności ze znalezieniem funkcji łączenia paneli
  • 34. Precyzyjny punkt widzenia 2,5 1,3 1,9 6,2 4,0 1,5 3,9 1,4 2,1 1,9 1,5 2,5 1,7 2,1 0,7 0,9 1,7 0,3 1,7 0,2 0,9 0,7 0,6 1,5 0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 Średni czas wykonania zadao (minuty) Wydajnośd – jak czytad wyniki? Dodawanie video do serwisu zajęło osobom badanym średnio 6 minut Usunięcie zakładki recenzji średnio zajęło badanym 2 sekundy
  • 35. Precyzyjny punkt widzenia Jaka jest przyszłośd badacza?
  • 36. Precyzyjny punkt widzenia Przyszłośd badacz ulega zmianie • Produkty są coraz bardziej złożone • Komputeryzacja staje się coraz bardziej powszechna w każdym urządzeniu • Nowe produkty są coraz prostsze do samodzielnego stworzenia • Użytkownicy mogą projektowad własne rozwiązania
  • 37. Precyzyjny punkt widzenia Rola badacza musi się zmienid • Nasza praca musi w znacznie większej mierze iteracyjna (Agile testing) • Wykorzystanie wszechobecności może byd dużą zaletą (dane z Flickr czy Twittera) • Wyjście badaczy z laboratorium do użytkownika (testy w terenie) • Włączanie użytkowników w proces projektowania (współuczestnictwo)
  • 38. Precyzyjny punkt widzenia Użytecznośd w społecznościach …a co nas czeka za kolejne 10 lat?