1. ТЕСТ-ДИЗАЙНЕР В
«ПОПУГАЯХ»:
МЕТРИКИ ПРОЕКТИРОВАНИЯ
ТЕСТОВ
Федоров Александр
Лаборатория качества
Москва 2009
2. МЕТРИКИ В
ТЕСТИРОВАНИИ
Метрики в тестировании - количественные
измерения результатов труда сотрудников отдела
качества
Метрики нужны для:
1. Оценки деятельности сотрудника
2. Мотивации сотрудника
3. Совершенствования процессов
3. СОСТАВ МЕТРИК
Метрики Метрики
выполнения МЕТРИКИ проектирования
тестов тестов
Тестировщик Тест-менеджер Тест-дизайнер
4. ОЦЕНКА СОТРУДНИКА
Эффективность =
(Количество*Сложность*Качество)/Время
Количество - количество выполненных единиц деятельности.
Сложность - коэффициент, призванный отразить трудозатраты связанные с
узостью предметной области:
1. Тест-дизайнеру приходится разбираться в функционале.
2. Специфика функционала влияет на степень детализации тест-кейсов.
Качество - присутствует в формуле в роли коэффициента.
Время - количество затраченных человеко-часов.
5. КОЛИЧЕСТВО
И СЛОЖНОСТЬ
Количество
Количественному подсчету может быть подвергнута любая
деятельность: написание тест-кейсов, тестирование требований,
создание тестовой документации и пр.
Сложность
Сложность возникает из следующих факторов:
1. Тест-дизайнеру приходится разбираться в функционале.
2. Специфика функционала влияет на степень детализации тест-
кейсов.
6. КАЧЕСТВО РАБОТЫ
Определение качества тест-дизайна:
• Метрическое - покрытие требований, code-coverage.
• Путем аудита - разбор используемых в тест-дизайне
методик, чтение тест-кейсов.
• Через обратную связь - отзывы тестировщиков,
проходящих тест-кейсы.
• Определение постфактум - покрытие тест-кейсов
найденными багами, количество обнаруженных в
последствии багов.
7. МОТИВАЦИЯ
Метрики позволяют мотивировать
сотрудников, имеющих склонности:
К соревновательности (с результатами других
сотрудников или своими собственными)
К процедурности (сотрудник знает критерии, по
которым его оценивают, используется мотивация
«справедливости»)
8. МОТИВАЦИЯ
Использование «процедурности» при мотивации
позволяет назначать «бонусы» за достижения:
• похвала (личная от руководителя лтбо коллективная)
• признание (доска почета, уважение коллег)
• премия (денежная или подарок)
• повышение (карьерный рост)
9. СОВЕРШЕНСТВОВАНИЕ
ПРОЦЕССОВ
При условии ведения нескольких проектов, новые методы и
инструменты внедряются как правило на «пилотном проекте».
Единственным инструментом объективной оценки полезности
нововведений является использование метрик для сравнения с
другими проектами:
• Количество написанных тестов.
• Время прогона.
• Количество найденных багов и их критичность.
• Количество багов, найденных не по тест-кейсам.
• и т. д.
10. МЕТРИКИ МНОГООБРАЗНЫ
Можно использовать множество различных метрик, в
зависимости от имеющихся задач и потребностей.
Пример.
Распределение коэффициента полезности тестов: оценка
количества и важности найденных багов и их распределение по
приоритетам тестов.
В результате можно сделать выводы о правильности
приоритизации тестов и об отсутствии/наличии в них
избыточности.
