Первый шаг на пути к тестированию белого ящика для сложных систем
Download as PPTX, PDF1 like506 views
Доклад Аркадия Дементьева на конференции SQA Days-21 www.sqadays.com
More Related Content
What's hot (20)
Similar to Первый шаг на пути к тестированию белого ящика для сложных систем (20)
More from SQALab (20)
Первый шаг на пути к тестированию белого ящика для сложных систем
- 1. Первый шаг на пути к тестированию белого ящика для сложных систем Дементьев Аркадий Сбербанк Технологии
- 2. Сократить сроки Не потерять в качестве Актуальность регрессионной модели Разработка методик тестирования нового функционала Расширение регрессионной модели Из чего состоит наша работа
- 3. К чему стремится сообщество White BoxAgile Риск тестирова ние Сокращение объема релиза DevOps Микро сервисная архитектура
- 4. Эволюция АБС, проблемы тестирования 0 1000 2000 3000 4000 5000 6000 1900 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 • Зачем тестировать то, что не меняется? • Какие тест-кейсы проверяют именно тот функционал, который изменился? • Как контролировать этап тестирования? • Для большинства тестировщиков система – черный ящик
- 5. С чем столкнулись мы • Система – Black Box, состоящий более чем из 40 тысяч операций • Ежегодно разрабатываются и изменяются более 2 тысяч операций • Огромный регресс • Что покрывают авто-тесты • Что тестировать в первую очередь
- 6. Основной вопрос А то ли мы тестируем?
- 7. Решение • Использование штатных механизмов аудита • Статистический анализ • Визуализация результатов с возможностью отслеживания трендов Oracle Audit Jenkins Java
- 8. Реализация Сохранение данных Сбор данных Формирование статистики
- 10. • Собрать профиль для тестирования • Оценить качество проведенных тестов • Просмотреть и сравнить регресс за разные периоды • Выгрузить статистику в Excel • Оценка покрытия стенда авто-тестами • Отслеживание прогресса тестирования • Контроль сборок • Оценка качества регрессионной модели • Много еще чего Возможности
Editor's Notes
- #3: Сместить сроки вниз Сроки – качество
- #5: Что можем исключить, что не можем. Когда запускать тесты, какие тесты запускать
- #8: Что можем исключить, что не можем. Когда запускать тесты, какие тесты запускать
- #9: Подробнее познакомимся с самим инструментом. Слева представлена панель настроек. Тут пользователь может выбрать систему, с которой ему предстоит работать, настроить период проведения тестирования, а также выбрать насколько старые операции будут отображаться. После построения (выгрузки) статистики, сразу отрисовывается такой график, по которому уже можно отчасти судить о качестве проведенных тестов. Ну и самая главная часть – это таблица с полной информацией, о том какая операция , когда была модифицирована, и сколько раз была запущена за выбранный период.