�ݺ�ߣ

Оценка и тестирование ПИ
Иван Бурмистров

Цитата
Разработать хороший пользовательский
интерфейс с первого раза совершенно
невозможно
Ларри Константайн

Темы занятия
 Юзабилити-тестирование
 Экспертная оценка
 Пользовательская оценка

Тема I

Определение юзабилити
согласно стандарту ISO 9241-11
Юзабилити – это степень, в которой продукт может
быть использован определённой группой
пользователей для достижения определённых целей
в определённом контексте использования
результативно, производительно и с чувством
удовлетворённости
 Результативность – точность и полнота, с
которой пользователи достигают определённых
целей
 Производительность – отношение
затрачиваемых ресурсов к точности и полноте
достижения пользователями целей
 Удовлетворённость – отсутствие чувства
дискомфорта и позитивное отношение к
использованию продукта

Основные юзабилити-метрики
Все составляющие юзабилити подлежат
количественному измерению:
 результативность: процент
выполненных заданий; количество
ошибок
 производительность: время выполнения
задания
 удовлетворённость: опросники,
автоматическое распознавание эмоций

Специальные метрики
 Лёгкость освоения (learnability)
 Доступность для людей с
ограниченными возможностями
(accessibility)
 Универсализм (universality)
 Безрисковость

Измерение удовлетворённости 1/2
Опросник ОПУС (Дегтяренко, 2011)
21 пункт. Шкалы: Эффективность, Простота,
Полезность, Эмоциональная привлекательность

Измерение удовлетворённости 2/2
FaceReader (Noldus Information Technology)

Юзабилити-тестирование 1/9
 Констатирующее (summative testing):
диагностика текущего состояния ПИ;
количественно-ориентированное
тестирование
 Формирующее (formative testing):
включено в жизненный цикл разработки
ПО на каждой итерации; качественно-
ориентированное тестирование
 Сравнительное (A/B testing): выявляет
лучший вариант ПИ из нескольких;
количественно-ориентированное
тестирование

 Цели тестирования
 Измеряемые показатели и критерии
оценки
 Контингент пользователей
 Тестовые задания
 Рекрутинг участников тестирования
 Проведение тестирования (наблюдение
и замеры)
 Качественный анализ тестовых
протоколов
 Объединение индивидуальных
протоколов и статистический анализ
 Отчёт: выводы и рекомендации

Сколько нужно пользователей?
Тестирование с 5-ю пользователями
позволяет выявить 85% юзабилити-
проблем

Юзабилити-лаборатория interUX, Таллинн

Картинка на мониторах в комнате
наблюдения: левый монитор – Morae
Observer, правый – вид с панорамной
камеры и управление

Отчёт по результатам теста:
 количественные данные
 качественные данные
 рекомендации по улучшению

Eye-tracking 1/7
Анализ движений глаз

Eye-tracking 5/7
Тепловые карты

Eye-tracking 6/7
Иллюстрация баннерной слепоты

Eye-tracking 7/7
Области интереса

Тема II

Определения
Экспертной называется субъективная
оценка юзабилити-качества продукта,
построенная на основе собственного
опыта и суждений эксперта
Юзабилити-дефект – это любой аспект
продукта, способный привести к путанице,
ошибкам, задержкам, или невозможности
выполнения каких-либо задач хотя бы
частью пользователей, для которых
предназначен продукт

Классификация юзабилити-
дефектов (юзабилити-ошибок)
 4 – критический: очевидный дефект;
серьёзно усложняет использование
продукта в целом
 3 – крупный: усложняет выполнение
некоторых задач; значительно повышает
вероятность ошибок
 2 – небольшой: есть вероятность, что
дефект вызовет проблемы; снижает
производительность; немного усложняет
обучение; несколько повышает вероятность
ошибок
 1 – незначительный: досадная, но не
опасная мелочь; есть небольшая
вероятность возникновения ошибок или
снижения производительности

Основы
 Целью экспертной оценки является
выявление юзабилити-дефектов;
обнаружение дефекта – это успех, а не
неудача
 Результат экспертизы больше зависит от
собственных суждений экспертов, чем
от используемых ими методов

Сколько нужно экспертов?
 1 эксперт выявляет 35% юзабилити-
дефектов
 2 эксперта – 50%
 5 экспертов – 75%
 Для выявления 90% дефектов
потребуется 12 экспертов
 Кривая экономической
целесообразности имеет пик в
интервале 3-5 экспертов

Разновидности экспертных
оценок
 Соответствие стандартам и
руководящим указаниям (guidelines)
 Эвристическая оценка (heuristic
evaluation)
 Когнитивный сквозной контроль
(cognitive walkthrough)
 Плюралистический сквозной контроль
(pluralistic walkthrough)
 Формальное инспектирование
юзабилити (formal usability inspections)
 Субъективная оценка (subjective
assessment)

Эвристичеcкая оценка
 В любой момент времени система показывает, что с ней
происходит
 Система использует термины, понятия и метафоры,
присутствующие в реальном мире, а не обусловленные
компьютером
 В любой момент пользователь контролирует систему, а не
наоборот; любую команду можно отменить или повторить
 В любой момент времени система выглядит и функционирует
единообразным и стандартным способом
 Интерфейс системы препятствует появлению человеческих ошибок
 В любой момент времени интерфейс показывает объекты и
команды сам, не требуя от пользователя вспоминать их
 В интерфейсе есть методы ускорения работы, предназначенные
для опытных пользователей и не мешающие новичкам
 Интерфейс эстетичен и в любой момент времени не содержит
ненужной сейчас информации
 Интерфейс помогает пользователям обнаруживать и исправлять
проблемы, включая человеческие ошибки
 Справка доступна в любой момент времени; она достаточна, но не
избыточна; к ней легко обращаться; она нацелена на решение
конкретных задач пользователя
© Jakob Nielsen
© Перевод
Влада Головача

Когнитивный сквозной контроль
 Метод фокусируется на выявлении
проблем, возникающих у
пользователей, впервые приступающих
к работе с продуктом
 Исходит из того, что пользователи
обычно пытаются освоить систему без
помощи документации
 Начинается с анализа задач и
формирования сценариев
 Задача: обнаружить потенциальные
барьеры, способные помешать изучению
системы

Действия по результатам
экспертизы
 Оценка сложности и стоимости
устранения дефектов
 Сортировка дефектов по серьёзности и
ожидаемым затратам на устранение
 Пересмотр архитектуры ПИ в поисках
возможностей улучшений или
реорганизации
 Выяснение того, кто будет устранять те
или иные дефекты, и когда выйдет
следующая версия продукта
 Реализация переделок изменившихся
частей ПИ

Пример оценки: Аэрофлот 1/7
Выполненные работы:
 Интервью с представителями компании
и разработчиками
 Конкурентный анализ
 Анализ литературы и выявление
наработанных методов (best practices)
 Когнитивный сквозной контроль
 Отчёт, включая редизайн ключевых
страниц

Конкурентный анализ

Анализ литературы

Best practices

Критический дефект: форма ввода
информации о пассажире

Сравнение формы с конкурентами

Фрагмент отчёта

Тема III

Виды пользовательской оценки
 Интервью
 Опросники (анкеты)

Интервью
 Структурированные интервью
 Проведение на рабочем месте
 Видео/аудиозапись

Опросники 1/
Software Usability Measurement Inventory (SUMI)

Спасибо за внимание!

�ݺ�ߣ

Оценка и тестирование ПИ

Convert to study guideBETA

More Related Content

Оценка и тестирование ПИ