Илья Гаврилов, Оценка затрат на автоматизацию тестирования
- 1. Оценка затрат на автоматизацию тестирования Илья Гаврилов. Exigen Services
- 2. Цель “Головы” Продукт
- 3. Цель Бюджет Рентабельность инвестиций ROI = (G – I)/I I=?
- 4. План • Обзор существующих методов оценки затрат на автоматизацию • Анализ сильных и слабых сторон • Выработка критериев для нового метода оценки • Разработка нового метода • Анализ результатов
- 5. Существующие подходы оценки затрат на автоматизацию • Оценка по типовому коэффициенту • Оценка методом декомпозиции задач
- 6. Оценка по типовому коэффициенту % Итоговая Разработка оценка
- 7. Оценка методом декомпозиции задач 1 Manage entities functionality 39 20 2.1 DB 3 2.2 Entity list UI + filtration business 9 2.3 UI for add/edit/view entity item 9 Support for cutoff date/time (including Region default 2.4 9 values overriding); extension time Support for dependent lists (Region, Country, 2.5 3 Business unit) 2.10 Support for audit 3 2.11 Permissions 3 2.15 TC for view/add/edit Entity creation 4 2.16 TC for view/add/edit Entity execution 6 2.17 Automation for view/add/edit Entity 10
- 8. Критерии для нового метода оценки
- 9. Анализ задачи Время на оценку Вход Выход Точность оценки TCs
- 10. Анализ задачи - проблема Все тест кейсы отличаются: • по объему • сложности • и т.п.
- 11. Анализ тест кейса Содержание Тип активности тестировщика Взаимодействие с Взаимодействие интерфейсом с интерфейсом Подготовка Написание хранимых тестовых процедур, для данных через подготовки тестовых базу данных данных
- 12. Автоматизация набора тест кейсов TCs TCUIA TCDB
- 13. Оценка написания хранимых процедур TCDB
- 15. Единицы-> Часы На основании статистики 100 единиц = X часов Единицы
- 16. Оценка тест кейсов Все тест кейсы разные TCUIA ?
- 17. “Оценочный” тест кейс Разные по объему тест кейсы “Оценочный” тест кейс
- 18. Границы “оценочного” тест кейса “Оценочный” тест Взаимодействие с интерфейсом кейс 1< ≤ 10
- 19. “Оценочный” тест кейс -> Часы На основании статистики 10 оценочных тест кейсов = Y часов
- 20. Суммарная оценка затрат на автоматизацию Оценочные TCs Тест Кейсы TCUIA TCDB Единицы
- 21. Проекты Проект 1 Проект 2 • Большие тест кейсы • Небольшие тест кейсы • Тестовые данные • Тестовые данные создаются через интерфейс создаются через базу • Много не стандартных данных элементов управления
- 22. Время потраченное на оценку Проект Кол-во тест Метод Новый кейсов, шт декомпозиц метод, часы ии задач, часы Проект 1 58 3 1 Проект 2 205 7 2
- 23. Точность оценки Проект Метод Новый Факт декомпозиц метод ии задач Проект 1 127 часов 142 часов 136 часов 93,38 % 104,41 % 100% Проект 2 298 часов 260 часов 280 часов 106,42 % 92,85 % 100%
- 24. Анализ результатов • Время затраченное на оценку ~ в 3 раза меньше от метода декомпозиции задач • Точность варьируется в пределах 8% от фактического результата • Точность сопоставимая с методом декомпозиции задач • Меньше субъективность оценки
- 25. Спасибо за внимание! Вопросы? Илья Гаврилов Iliya.Gavrilov@exigenservices.com