ݺߣ

ݺߣShare a Scribd company logo

Проведение юзабилити-тестирования Final

•Download as PPTX, PDF•
•
I2B 2011
I2B 2011

Маргарита Титова, UsabılıtyLab конференция I2B-2011, Пермь-Екатеринбург

1 of 43
Downloaded 59 times
Проведение юзабилити- тестирования
U-тестирования как отдельный вид исследования
Что такое юзабилити- тестирование? Ваше мнение? 3
Юзабилити-тестирование Экспериментальный метод, построенный на интервьюировании пользователей по заранее составленному сценарию и направленный на выяснение того, как пользователи используют продукт. 4
Юзабилити тестирование • Процесс получения опыта использования сайта, программы или продукта конечными или потенциальными пользователями • Оценка, основанная на выполнении задач • Процесс, сопровождающий разработку • Ключевой компонент методологии HCD 5
Какие цели могут быть у тестирования? • Проверка, подходит ли дизайн • Диагностика проблем • Сравнение альтернатив • Верификация дизайна на соответствие целям 6
Что тестировать? • Навигация • Содержание • Представление • Взаимодействие 7
Виды тестирования Результирующие (summative) Формирующие (formative) тесты тесты • Проводятся в процессе • Проводятся в конце разработки разработки • Используется для • Используются для валидации определения достигаются ли того, что продукт достигает определенные цели дизайна поставленных целей 8
Два подхода к тестированию Качественный (маленькие Количественный (большие выборки) выборки) • Обеспечивает много • Фокусируется на количественных возможностей для наблюдения оценках • Основывается на знаниях и • Результаты могут быть обобщены суждениях на большую популяцию • Специалист наблюдает, • Необходимы большие выборки интерпретирует, принимает решения 9
Дизайн—Тест—Дизайн—Тест… • Тестирование с 5 пользователями выявляется 85% проблем • Решите проблемы • Снова протестируйте и найдите другие 85% проблем (от оставшихся) • Решите проблемы • В третий раз с 5 пользователями найдите 85% проблем (от оставшихся) 10
Методы тестирования • Remote Testing • Co-discovery Learning • Coaching Method • Performance Measurement • Question-asking Protocol • Retrospective Testing • Shadowing Method • Teaching Method • Thinking Aloud Protocol 11
Определитель (1/3) Есть пользователи для проведения тестирования ? Доступны ли пользователи НЕТ ДА непосредственно ? Heuristic Evaluation ДА НЕТ Оцениваем производительность , а не впечатления ? Remote Testing НЕТ ДА Performance Measurement Могут ли пользователи говорить (комментировать свою работу )? 12
Определитель (2/3) Могут ли пользователи говорить (комментировать свою работу )? Thinking Aloud НЕТ Protocol ДА Может ли другой пользователь комментировать работу Question -asking пользователя , выполняющего тестовые задания ? Protocol Shadowing НЕТ ДА Method Retrospective Testing Является ли тестер экспертом в предметной области ? 13
Определитель (3/3) Является ли тестер экспертом в предметной области ? Co -discovery Learning НЕТ ДА Coaching Method Teaching Method 14
Планирование U-тестирования
Сценарии тестирования • Ситуация, основанная на какой-то истории • Участники выполняют задание • Используется терминология пользователей • Однозначность • Обеспечивают необходимые детали выполнения задания • Не содержат шагов выполнения задания 16
Структура сценария • Установление личного контакта • Тренировочное задание (опционально) • Задание тестирования • Завершение тестирования 17
Задания и сценарии тестирования • Задания – Короткие и точные – Полезны, когда не требуется понимание контекста • Сценарии – Обеспечивают мотивацию и контекст – Воспроизводят сценку или историю – Повышают понимание – Делают ситуацию реалистичнее – Включают в себя задания 18 18
Знакомство • Добрый день, меня зовут …, я • Я буду сидеть в другой комнате. Это сотрудник …. В нашей лаборатории нужно для того, чтобы тестирование мы проводим тестирование новых было объективным. Если я буду программных продуктов с участием сидеть рядом с Вами – могу стеснять пользователей. Наши заказчики Вас и отвлекать. хотят, чтобы их продукты максимально точно соответствовали потребностям целевой аудитории. • Это комната, где Вы будете находиться во время тестирования. Это Ваш компьютер. Пожалуйста, сядьте за стол, я бы хотел убедиться, что Вам комфортно. • Вы можете видеть несколько камер в этой комнате. Они нужны для того, чтобы я мог видеть выражение Вашего лица. 19
Соглашение • Для того, чтобы Вы были уверены в том, что записи тестирования с Вашим участием будут использованы только для внутренних целей, предлагаю Вам подписать соглашение о неразглашении. • Мы гарантируем, что записи, Ваше имя и данные не будут опубликованы в Интернете и печатных изданиях. • Вы обязуетесь в течение 3 месяцев не раскрывать детали работы тестируемого продукта. 20
Тренировочное задание • Работа с тестируемым продуктом довольно необычна. • Для того, чтобы Вам было легче, мы подготовили тренировочное задание. • Оно поможет Вам сориентироваться в принципах работы продукта. Выполнение задания займет не больше 2—3 минут. 21
Задание тестирования • Инструкция. • Вопрос об ожиданиях пользователя. • Вопрос о том, что хочет сделать пользователь. • Выбор из желаний пользователя того, что соответствует заданию. • Вопрос о совпадении ожиданий пользователя с тем, что происходило во время выполнения задания. 22
Завершение тестирования • Спасибо, что поучаствовали в нашем • Нас интересует ваша первая исследовании! реакция, поэтому я попрошу вас не думать над каждым вопросом • Сейчас я попрошу вас заполнить слишком много. Если вы не знаете, анкету. как ответить на вопрос или ваше мнение нейтрально, поставьте галочку в средней клетке (под • В ней содержится ряд утверждений номером 3). о работе с данным продуктом. Справа от каждого утверждения находится пятибалльная шкала • Пожалуйста, отвечайте честно. оценок от «Абсолютно не согласен» Напоминаю Вам, что я не являюсь (это единица) до «Абсолютно разработчиком продукта, и вы не согласен» (это пять). Пожалуйста, обидите меня своими оценками. поставьте галочку в клетке, которая соответствует вашему мнению. 23
Метрики тестирования • На основе ISO 9241-11 – Эффективность – Продуктивность – Удовлетворенность 24
Пример Системной юзабилити-шкалы (SUS) 1. Думаю, я буду пользоваться данным продуктом, Абсолютно не согласен Абсолютно согласен когда он станет доступен 2. Я считаю данный продукт неоправданно сложным 1 2 3 4 5 3. Я считаю, что работать с данным продуктом было 1 2 3 4 5 легко 4. Думаю, мне понадобится помощь технического 1 2 3 4 5 специалиста для работы с продуктом 5. Я считаю, что продукт обладает многими полезными 1 2 3 4 5 функциями 6. Я обнаружил много противоречивых мест в продукте 1 2 3 4 5 7. Полагаю, большинство людей легко освоят этот 1 2 3 4 5 продукт 8. Я считаю этот продукт слишком сложным и 1 2 3 4 5 обременительным 9. Используя данный продукт, я чувствовал себя 1 2 3 4 5 уверенным в том, что мои действия будут успешными 10. Я должен был изучить много нового, чтобы начать 1 2 3 4 5 работать с данным продуктом 1 2 3 4 5 25
Рекрутинг респондентов и составление скрининговой анкеты
Участники тестирования • Респондент (участник тестирования) – Реальный или потенциальный пользователь – Не является проектировщиком или разработчиком продукта • Фасилитатор (модератор) – Организует весь процесс от планирования, проведения до отчетности • Наблюдатель – Записывает события по мере их возникновения – Не общается с респондентом – Участвует в анализе и подготовке отчета 27
Убывание предельной полезности выборки • Дизайн содержит конечное количество дефектов • Каждый пользователь будет сталкиваться с одними и теми же проблемами • Каждый пользователь будет обнаруживать всѐ меньше новых дефектов • Но на каждого пользователя мы тратим одни и те же ресурсы 28
Выбор участников • Текущие и новые пользователи • Знание предметной области • Компьютерные навыки • Другие факторы: – Язык – Образование – Пол – География – Культурные особенности 29
Проведение U-тестирования
Схема лаборатории наблюдатели фасилитаторы камера 2 испытуемый зеркало Гизела камера 1 31
Юзабилити лаборатории в Европе • Этап «Юзабилити University Leuven, Belgium тестирование» CURE Vienna, Austria LUTIN, Paris, France ICT&S Center, University of Salzburg 32
Юзабилити Лаборатория в Индии • Этап «Юзабилити тестирование» Cordys R&D, India 33
1С: юзабилити-лаборатория
Mobio Lab в Билайне
USABILITYLAB в Москве
USABILITYLAB в деталях http://picasaweb.google.com/usabilitylab.ru/bIbzvF
Как это было раньше? 1. Штатив для камеры 2. Сумка для аппаратуры 3. Видеомагнитофон 4. ДУ для видеомагнитофона … 7. Видеокамера 8. Наушники … 10. ДУ для камеры … 15. Соединительные шнуры … 17. Микрофон … 22. Инструкции 38
Тестирование платежных терминалов
Пример мобильности
Тестирование мобильных
Обработка результатов U-тестирования: обработка метрик, обработка
Структура отчета • Введение • Описание проекта • План эксперимента: – Проверяемые гипотезы – Наем участников тестирования – Процедура тестирования – Сценарий тестирования – Опросник SUS • Результаты тестирования: – Описание испытуемых – Проверка гипотез – Результаты опросника SUS • Рекомендации и обсуждение 43

More Related Content

Проведение юзабилити-тестирования Final

  • 4. Юзабилити-тестирование Экспериментальный метод, построенный на интервьюировании пользователей по заранее составленному сценарию и направленный на выяснение того, как пользователи используют продукт. 4
  • 5. Юзабилити тестирование • Процесс получения опыта использования сайта, программы или продукта конечными или потенциальными пользователями • Оценка, основанная на выполнении задач • Процесс, сопровождающий разработку • Ключевой компонент методологии HCD 5
  • 6. Какие цели могут быть у тестирования? • Проверка, подходит ли дизайн • Диагностика проблем • Сравнение альтернатив • Верификация дизайна на соответствие целям 6
  • 7. Что тестировать? • Навигация • Содержание • Представление • Взаимодействие 7
  • 8. Виды тестирования Результирующие (summative) Формирующие (formative) тесты тесты • Проводятся в процессе • Проводятся в конце разработки разработки • Используется для • Используются для валидации определения достигаются ли того, что продукт достигает определенные цели дизайна поставленных целей 8
  • 9. Два подхода к тестированию Качественный (маленькие Количественный (большие выборки) выборки) • Обеспечивает много • Фокусируется на количественных возможностей для наблюдения оценках • Основывается на знаниях и • Результаты могут быть обобщены суждениях на большую популяцию • Специалист наблюдает, • Необходимы большие выборки интерпретирует, принимает решения 9
  • 10. Дизайн—Тест—Дизайн—Тест… • Тестирование с 5 пользователями выявляется 85% проблем • Решите проблемы • Снова протестируйте и найдите другие 85% проблем (от оставшихся) • Решите проблемы • В третий раз с 5 пользователями найдите 85% проблем (от оставшихся) 10
  • 11. Методы тестирования • Remote Testing • Co-discovery Learning • Coaching Method • Performance Measurement • Question-asking Protocol • Retrospective Testing • Shadowing Method • Teaching Method • Thinking Aloud Protocol 11
  • 12. Определитель (1/3) Есть пользователи для проведения тестирования ? Доступны ли пользователи НЕТ ДА непосредственно ? Heuristic Evaluation ДА НЕТ Оцениваем производительность , а не впечатления ? Remote Testing НЕТ ДА Performance Measurement Могут ли пользователи говорить (комментировать свою работу )? 12
  • 13. Определитель (2/3) Могут ли пользователи говорить (комментировать свою работу )? Thinking Aloud НЕТ Protocol ДА Может ли другой пользователь комментировать работу Question -asking пользователя , выполняющего тестовые задания ? Protocol Shadowing НЕТ ДА Method Retrospective Testing Является ли тестер экспертом в предметной области ? 13
  • 14. Определитель (3/3) Является ли тестер экспертом в предметной области ? Co -discovery Learning НЕТ ДА Coaching Method Teaching Method 14
  • 16. Сценарии тестирования • Ситуация, основанная на какой-то истории • Участники выполняют задание • Используется терминология пользователей • Однозначность • Обеспечивают необходимые детали выполнения задания • Не содержат шагов выполнения задания 16
  • 17. Структура сценария • Установление личного контакта • Тренировочное задание (опционально) • Задание тестирования • Завершение тестирования 17
  • 18. Задания и сценарии тестирования • Задания – Короткие и точные – Полезны, когда не требуется понимание контекста • Сценарии – Обеспечивают мотивацию и контекст – Воспроизводят сценку или историю – Повышают понимание – Делают ситуацию реалистичнее – Включают в себя задания 18 18
  • 19. Знакомство • Добрый день, меня зовут …, я • Я буду сидеть в другой комнате. Это сотрудник …. В нашей лаборатории нужно для того, чтобы тестирование мы проводим тестирование новых было объективным. Если я буду программных продуктов с участием сидеть рядом с Вами – могу стеснять пользователей. Наши заказчики Вас и отвлекать. хотят, чтобы их продукты максимально точно соответствовали потребностям целевой аудитории. • Это комната, где Вы будете находиться во время тестирования. Это Ваш компьютер. Пожалуйста, сядьте за стол, я бы хотел убедиться, что Вам комфортно. • Вы можете видеть несколько камер в этой комнате. Они нужны для того, чтобы я мог видеть выражение Вашего лица. 19
  • 20. Соглашение • Для того, чтобы Вы были уверены в том, что записи тестирования с Вашим участием будут использованы только для внутренних целей, предлагаю Вам подписать соглашение о неразглашении. • Мы гарантируем, что записи, Ваше имя и данные не будут опубликованы в Интернете и печатных изданиях. • Вы обязуетесь в течение 3 месяцев не раскрывать детали работы тестируемого продукта. 20
  • 21. Тренировочное задание • Работа с тестируемым продуктом довольно необычна. • Для того, чтобы Вам было легче, мы подготовили тренировочное задание. • Оно поможет Вам сориентироваться в принципах работы продукта. Выполнение задания займет не больше 2—3 минут. 21
  • 22. Задание тестирования • Инструкция. • Вопрос об ожиданиях пользователя. • Вопрос о том, что хочет сделать пользователь. • Выбор из желаний пользователя того, что соответствует заданию. • Вопрос о совпадении ожиданий пользователя с тем, что происходило во время выполнения задания. 22
  • 23. Завершение тестирования • Спасибо, что поучаствовали в нашем • Нас интересует ваша первая исследовании! реакция, поэтому я попрошу вас не думать над каждым вопросом • Сейчас я попрошу вас заполнить слишком много. Если вы не знаете, анкету. как ответить на вопрос или ваше мнение нейтрально, поставьте галочку в средней клетке (под • В ней содержится ряд утверждений номером 3). о работе с данным продуктом. Справа от каждого утверждения находится пятибалльная шкала • Пожалуйста, отвечайте честно. оценок от «Абсолютно не согласен» Напоминаю Вам, что я не являюсь (это единица) до «Абсолютно разработчиком продукта, и вы не согласен» (это пять). Пожалуйста, обидите меня своими оценками. поставьте галочку в клетке, которая соответствует вашему мнению. 23
  • 24. Метрики тестирования • На основе ISO 9241-11 – Эффективность – Продуктивность – Удовлетворенность 24
  • 25. Пример Системной юзабилити-шкалы (SUS) 1. Думаю, я буду пользоваться данным продуктом, Абсолютно не согласен Абсолютно согласен когда он станет доступен 2. Я считаю данный продукт неоправданно сложным 1 2 3 4 5 3. Я считаю, что работать с данным продуктом было 1 2 3 4 5 легко 4. Думаю, мне понадобится помощь технического 1 2 3 4 5 специалиста для работы с продуктом 5. Я считаю, что продукт обладает многими полезными 1 2 3 4 5 функциями 6. Я обнаружил много противоречивых мест в продукте 1 2 3 4 5 7. Полагаю, большинство людей легко освоят этот 1 2 3 4 5 продукт 8. Я считаю этот продукт слишком сложным и 1 2 3 4 5 обременительным 9. Используя данный продукт, я чувствовал себя 1 2 3 4 5 уверенным в том, что мои действия будут успешными 10. Я должен был изучить много нового, чтобы начать 1 2 3 4 5 работать с данным продуктом 1 2 3 4 5 25
  • 27. Участники тестирования • Респондент (участник тестирования) – Реальный или потенциальный пользователь – Не является проектировщиком или разработчиком продукта • Фасилитатор (модератор) – Организует весь процесс от планирования, проведения до отчетности • Наблюдатель – Записывает события по мере их возникновения – Не общается с респондентом – Участвует в анализе и подготовке отчета 27
  • 28. Убывание предельной полезности выборки • Дизайн содержит конечное количество дефектов • Каждый пользователь будет сталкиваться с одними и теми же проблемами • Каждый пользователь будет обнаруживать всѐ меньше новых дефектов • Но на каждого пользователя мы тратим одни и те же ресурсы 28
  • 29. Выбор участников • Текущие и новые пользователи • Знание предметной области • Компьютерные навыки • Другие факторы: – Язык – Образование – Пол – География – Культурные особенности 29
  • 31. Схема лаборатории наблюдатели фасилитаторы камера 2 испытуемый зеркало Гизела камера 1 31
  • 32. Юзабилити лаборатории в Европе • Этап «Юзабилити University Leuven, Belgium тестирование» CURE Vienna, Austria LUTIN, Paris, France ICT&S Center, University of Salzburg 32
  • 33. Юзабилити Лаборатория в Индии • Этап «Юзабилити тестирование» Cordys R&D, India 33
  • 35. Mobio Lab в Билайне
  • 37. USABILITYLAB в деталях http://picasaweb.google.com/usabilitylab.ru/bIbzvF
  • 38. Как это было раньше? 1. Штатив для камеры 2. Сумка для аппаратуры 3. Видеомагнитофон 4. ДУ для видеомагнитофона … 7. Видеокамера 8. Наушники … 10. ДУ для камеры … 15. Соединительные шнуры … 17. Микрофон … 22. Инструкции 38
  • 43. Структура отчета • Введение • Описание проекта • План эксперимента: – Проверяемые гипотезы – Наем участников тестирования – Процедура тестирования – Сценарий тестирования – Опросник SUS • Результаты тестирования: – Описание испытуемых – Проверка гипотез – Результаты опросника SUS • Рекомендации и обсуждение 43