Как оценить время на тестирование. Александр Зиновьев, Test Lead SoftengiSoftengi Презентация Александра Зиновьева, Test Lead компании Softengi, на семинаре "Оценка в жизни тестировщика" от тренинговой центра QAS Training Center, который прошел 27 ноября в пространстве Циферблат, Киев.
Оценка задач выполняемых по итеративной разработкеReturn on Intelligence"Оценка задач выполняемых по итеративной разработке"
презентация с выступления на Найти IT
Автор: Сергей Стоцкий
Estimates & estimating - Наташа НовотнаяQA Dnepropetrovsk Community (Ukraine)Пусть не каждый день, но довольно часто, мы сталкиваемся с задачей оценить ту или иную работу по тестированию. Вы скажете - как это связано с тестированием? Но, иногда, из-за слишком сжатых сроков приходится сверхурочно дорабатывать или сдавать некачественный продукт. Все потому, что эстимейты делали не вы, или же вы, но по какой-то причине некачественно. В докладе я расскажу об эстимации тестовых задач для тестировщиков. Как подходить к задаче и ее декомпозиции, какие приемы позволяют повысить их точность. Попробуем на примерах определить границу между хорошими эстимейтами и не очень. Также, я надеюсь, что у нас получится обсудить пару тройку интересных вопросов по этой теме.
Планирование трудозатрат на тестированиеSoftengi Доклад Александры Ковалевой, Test Lead в QA Service, Softengi, Украина.
В презентации представлен симбиоз теории планирования и практического опыта компании QA Service в оценке трудозатрат на тестирование.
Руководители отдела тестирования, ведущие тестировщики узнают:
Чем отличаются стратегические, тактические и оперативные планы? - Что такое планирование с точки зрения тестировщика?
Кто в отвечает за планирование трудозатрат на тестирование?
Какие существуют методы оценки?
Всегда ли имеет смысл детальное планирование и оценка?
Подводные камни планирование сроков тестирования и связь с другими активностями проекта.
Как начать внедрение системы планирования и оценки «снизу»?
Тестировщикам доклад поможет посмотреть на оценку сроков с точки зрения менеджмента и ответить на вопросы:
Как я оцениваю свои задачи? Как это делают другие? Можно ли что-то улучшить?
Как заставить лида перестать спрашивать о сроках?
Чем отличаются трудозатраты на выполнение задачи и сроки завершения задачи. Как сдавать задачи в срок?
Test labs 2016. Пренебрежение лучшими практиками тестированияSasha Soleev"Лучшие практики" тестирования, чем они хороши, примеры;
Что плохого в их несоблюдении;
Когда можно ими пренебречь, риски нарушения;
Примеры: нивелирование рисков тестирования в Agile-подходе.
Автор: Григорий Сенин
Test labs 2016. QA в тотальном аутсорсеSasha SoleevМы привыкли работать с информацией от заказчиков, от разработчиков, с документацией. Но что делать, когда вы оказались в ситуации информационного вакуума? Как продолжать работать и развиваться, как мотивировать команду и себя, а также какие бонусы можно найти в такой обстановке – всё это мы обсудим в рамках данного доклада.
Автор: Ольга Пронина
Оценка сроков IT проектовAlexander KalinichevОбщие слова и идеи. Что влияет на оценки сроков.
Несколько способов оценки: - экспертные, - параметрические, - на основе истории.
Эффективное взаимодействие тестировщика и аналитикаSQALabДоклад Натальи Леоновой на конференции SQA Days-18, 27-28 ноября 2015 г., Москва
www.sqadays.com
Пополняем арсенал тестировщика. Учимся применять новые техникиSQALabДоклад Германа Варгина на конференции SQA Days-19, 20-21 мая 2016 г., Санкт-Петербург
Распределение тестировщиков по командам как один из этапов контроля качестваSQALabДоклад Наталии Узенцовой на конференции SQA Days-18, 27-28 ноября 2015 г., Москва
www.sqadays.com
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибкиQAFestМы обсудим основные виды тестовой документации, зачем и почему они нужны, кратко поговорим о том почему нужны тест планы и в каком виде. Узнаем для каких задач какую тест документацию стоит выбрать. Поговорим об эффективных принципах и подходах к построению наборов тест-кейсов и чек-листов. Затронем тему отчетности и, конечно же, поговорим о типичных ошибках.
Планирование трудозатрат на тестированиеSoftengi Доклад Александры Ковалевой, Test Lead в QA Service, Softengi, Украина.
В презентации представлен симбиоз теории планирования и практического опыта компании QA Service в оценке трудозатрат на тестирование.
Руководители отдела тестирования, ведущие тестировщики узнают:
Чем отличаются стратегические, тактические и оперативные планы? - Что такое планирование с точки зрения тестировщика?
Кто в отвечает за планирование трудозатрат на тестирование?
Какие существуют методы оценки?
Всегда ли имеет смысл детальное планирование и оценка?
Подводные камни планирование сроков тестирования и связь с другими активностями проекта.
Как начать внедрение системы планирования и оценки «снизу»?
Тестировщикам доклад поможет посмотреть на оценку сроков с точки зрения менеджмента и ответить на вопросы:
Как я оцениваю свои задачи? Как это делают другие? Можно ли что-то улучшить?
Как заставить лида перестать спрашивать о сроках?
Чем отличаются трудозатраты на выполнение задачи и сроки завершения задачи. Как сдавать задачи в срок?
Test labs 2016. Пренебрежение лучшими практиками тестированияSasha Soleev"Лучшие практики" тестирования, чем они хороши, примеры;
Что плохого в их несоблюдении;
Когда можно ими пренебречь, риски нарушения;
Примеры: нивелирование рисков тестирования в Agile-подходе.
Автор: Григорий Сенин
Test labs 2016. QA в тотальном аутсорсеSasha SoleevМы привыкли работать с информацией от заказчиков, от разработчиков, с документацией. Но что делать, когда вы оказались в ситуации информационного вакуума? Как продолжать работать и развиваться, как мотивировать команду и себя, а также какие бонусы можно найти в такой обстановке – всё это мы обсудим в рамках данного доклада.
Автор: Ольга Пронина
Оценка сроков IT проектовAlexander KalinichevОбщие слова и идеи. Что влияет на оценки сроков.
Несколько способов оценки: - экспертные, - параметрические, - на основе истории.
Эффективное взаимодействие тестировщика и аналитикаSQALabДоклад Натальи Леоновой на конференции SQA Days-18, 27-28 ноября 2015 г., Москва
www.sqadays.com
Пополняем арсенал тестировщика. Учимся применять новые техникиSQALabДоклад Германа Варгина на конференции SQA Days-19, 20-21 мая 2016 г., Санкт-Петербург
Распределение тестировщиков по командам как один из этапов контроля качестваSQALabДоклад Наталии Узенцовой на конференции SQA Days-18, 27-28 ноября 2015 г., Москва
www.sqadays.com
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибкиQAFestМы обсудим основные виды тестовой документации, зачем и почему они нужны, кратко поговорим о том почему нужны тест планы и в каком виде. Узнаем для каких задач какую тест документацию стоит выбрать. Поговорим об эффективных принципах и подходах к построению наборов тест-кейсов и чек-листов. Затронем тему отчетности и, конечно же, поговорим о типичных ошибках.
Новинки «1С-Битрикс: Управление сайтом» 16.5Наталья Сергеева Коммуникации на сайт
Онлайн-чат для сайта
Открытые линии
CRM-формы
Обратный звонок с сайта
Автокомпозит
BigData: Облако интересов
Развитие eCommerce D7:
Оформление заказа D7
Раздел покупателя D7
Промоутер скидок и акций
Ритейл продуктов питания
И другие новинки платформы
Ускорение D7 x2
Модуль 8. Лекция 37-38. Управление качеством проектаYana BrodetskiУправление качеством проекта
● Планирование управление качеством
● Определение и характеристики дефекта;
● Задачи управления дефектами;
● Классификация важности дефектов;
● Виды тестирования;
● Правильное описание дефекта;
● Жизненный цикл дефекта;
● Работа с базами дефектов;
● Метрики на основе дефектов.
● Составление тест плана
Улучшение процесса тестирования: контентные моделиSQALabПрезентация Инны Смирновой на SQA Days-16
14-15 ноября 2014, Санкт-Петербург, Россия
www.sqadays.com
Test Strategy: creation and optimization - QA Fest-2017 (Тестовая стратегия: ...Andrey LadutkoТест-менеджер ставит перед собой и командой долгосрочные и сложные цели. Например, как выбрать и соединить вместе изученные техники и виды тестирования, как понять, почему в одних условиях у нас получилось провести “качественное” тестирование, а в других нет? Как понять, будет ли эффективна автоматизация на проекте прежде, чем вложиться человека-годами в Фреймворк и тесты? Ответы на эти вопросы находятся в «стратегии тестирования». Она есть у каждой команды, пусть и не в осознанном и формализованном виде. Поэтому нужно научиться пользоваться этим инструментом, уметь как составлять тестовую стратегию с нуля на проекте, так и оптимизировать уже существующую стратегию.
QA Fest 2017. Андрей Ладутько.Тестовая стратегия: создание и оптимизацияQAFestТест-менеджер ставит перед собой и командой долгосрочные и сложные цели. Например, как выбрать и соединить вместе изученные техники и виды тестирования, как понять, почему в одних условиях у нас получилось провести “качественное” тестирование, а в других нет? Как понять, будет ли эффективна автоматизация на проекте прежде, чем вложиться человека-годами в Фреймворк и тесты? Ответы на эти вопросы находятся в «стратегии тестирования». Она есть у каждой команды, пусть и не в осознанном и формализованном виде. Поэтому нужно научиться пользоваться этим инструментом, уметь как составлять тестовую стратегию с нуля на проекте, так и оптимизировать уже существующую стратегию.
Организация процесса ручного тестированияIT61Поплоухина Елена, Руководитель отдела тестирования в Usetech
https://vk.com/lena_flower
Расскажу об опыте организации процесса внутреннего тестирования проекта со строго формализованным техническим заданием от момента получения технического задания для тестирования требований до момента передачи релиза на приемочное тестирование.
Методы оценки качества требований и работы аналитикаAlexander Novichkovhttp://cmcons.com
http://uml2.ru
Методы оценки качества требований и работы аналитика
семинар 15 июня 2010 года - «ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ IBM RATIONAL ДЛЯ УЛУЧШЕНИЯ ПРОЦЕССОВ РАЗРАБОТКИ И СОПРОВОЖДЕНИЯ ПО»
Куда приводят мечты? или Искусство развития тестировщикаSQALabДоклад Нины Щегловой на SQA Days-22. 17-18 ноября 2017. Санкт-Петербург, Россия
www.sqadays.com
Оптимизация Selenium тестов и ускорение их поддержкиSQALabДоклад Павла Балахонова на SQA Days-22. 17-18 ноября 2017. Санкт-Петербург, Россия
www.sqadays.com
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияSQALabДоклад Дарьи Шишковой на SQA Days-22. 17-18 ноября 2017. Санкт-Петербург, Россия
www.sqadays.com
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...SQALabДоклад Владимира Иванова на SQA Days-22. 17-18 ноября 2017. Санкт-Петербург, Россия
www.sqadays.com
Continuous performance testingSQALabThis document discusses continuous performance testing (CPT) and introduces the Jagger CPT solution. It provides an overview of why performance testing is important, outlines the principles and goals of CPT, and describes the key parts of the Jagger CPT platform including load generation, metrics collection, test data management, and environment management. It also provides an example customer success story where Jagger was used for continuous performance testing of a large ecommerce site.
Конфиги вместо костылей. Pytestconfig и зачем он нуженSQALabДоклад Юлии Александровой на SQA Days-22. 17-18 ноября 2017. Санкт-Петербург, Россия
www.sqadays.com
Добиваемся эффективности каждого из 9000+ UI-тестовSQALabДоклад Максима Сахарова на SQA Days-22. 17-18 ноября 2017. Санкт-Петербург, Россия
www.sqadays.com
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииSQALabThis document provides an overview of the JDI (Java UI test automation framework). It discusses features of JDI including being UI element oriented, providing common UI elements and solutions to common problems. It provides examples of how to write tests using JDI annotations and page object pattern. The document also summarizes benefits of JDI such as reducing test code, improving test clarity, reuse across projects. Finally it outlines new features planned for JDI 2.0 including layout verification, page object generator, integration with Selenium and expanding JDI to other languages like Python.
Как hh.ru дошли до 500 релизов в квартал без потери в качествеSQALabДоклад Алексея Анисимова на SQA Days-22. 17-18 ноября 2017. Санкт-Петербург, Россия
www.sqadays.com
Тестирование геолокационных системSQALabThe document discusses testing of geolocation systems. It provides an overview of geolocation, including definitions and importance. It then outlines the speaker's experience and work testing GIS systems. The rest of the document details approaches to testing geolocation, including simulating calls, checking responses and databases, and verifying accuracy. It also discusses common data formats, projections, tools like PostGIS and QGIS, and potential bugs to watch for like coordinate jumbling. The conclusion emphasizes starting simple, practicing to improve, and for tests to grow with knowledge as geolocation is important for future IT.
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...SQALabДоклад Никиты Налютина на SQA Days-22. 17-18 ноября 2017. Санкт-Петербург, Россия
www.sqadays.com
2. Докладчик
Башарин Александр Петрович - Руководитель
направления функционального и автоматизированного
тестирования компании «Перфоманс Лаб»
• Общий стаж работ в области обеспечения качества 8 лет
• Опыт функционального тестирования 5 лет
• Опыт автоматизированного тестирования 3 года
3. Зачем оценивать?
Зачем нужна оценка:
• Определить объем
• Определить срок
• Определить ресурсы
• Рассчитать стоимость
4. Прежде чем оценивать
• Создаем регламент проведение оценок
• Создаѐм шаблоны:
опросник для клиента
типовых работ по различным услугам
• Выделяем технического консультанта, ответственного за оценку
• Выделяем эксперта, согласующего все оценки
Любая оценка, предоставляемая клиенту, должна
проходить через формальную процедуру
5. Способы оценки
Какие подходы используются для оценки:
• Экспертная оценка
• Оценка по аналогии
• Program Evaluation and Review Technique (PERT)
• Use Case Points
• FP
• FFP
• их тысячи…
6. Что же использовать
Оценка тестирования
• Экспертная оценка/Оценка по аналогии
• PERT
• Use Case –Сценарии использования
• Бизнес процессы/Бизнес функции
Не стоит
• Функциональные точки FP/ FFP
7. Оценка по бизнес процессам
• Определяем тестируемые бизнес процессы
• Ранжируем БП по классам систем
• Определяем единицу измерения – тест кейс
• Определяем число ТК на БП в зависимости от класса
Можно использовать
• Для разрабатываемых систем
• Для внедренных систем
• В условиях ограниченной информации
8. Допущения
• Число тестов, для покрытия бизнес процесса
• Идеальное время разработки теста
• Идеальное время на выполнение теста
• Детализация тестового сценария
• Глубина тестового сценария
Основываясь на опыте, дальше
настраивать
9. А где же риски?
Буферы заложены в разработку:
• Тестов
• Методик
• Отчетов
• Прохождение тестов
Определяя величину буфера
надо учитывать:
• Разную квалификацию сотрудников
• Доступность информации
• Налаженность коммуникаций
• Сложность проекта
10. Пример
Дано:
• 15 систем, затронутых миграцией
• Сжатые сроки на подготовку КП
• Информации где-то избыток, где-то нет
Получить на выходе:
• Виды тестирования
• Трудозатраты общие
• Трудозатраты по системам
• Объем/состав команды
• Обосновать полученные сроки и трудозатраты
11. А теперь оцениваем
Что нам нужно?
• Перечень затрагиваемых бизнес процессов
• Описание систем и их функций
• Схемы взаимодействия
Что делать?
1. Собрать информацию
2. Обработать
3. Подготовить оценку
4. Проверить/Согласовать
5. Защитить
12. Сбор данных
• Определить ответственных за системы
• Собрать информацию по системам:
Сбор документов (ТЗ, ФТ, перечень
бизнес процессов)
Анкетирование
Интервьюирование
• Собрать информацию о наличии
Тестировщиков
Тестовых моделей
Средств сопровождения и автоматизации тестирования
13. Обработка
• Выделить виды тестирования
• Определить число тестов на БП
• Время на разработку тестов
• Время на прохождение тестов
• Число итераций
Для повышения точности использовать несколько
оценщиков
14. Черновая оценка
Черновая оценка содержит
• Этапы работ
• Время выполнения каждого этапа
• Состав команды
• Численность команды
• Число тестов на систему
Исходные данные для проверяющего оценку
15. Пример оценки
№ Этап работ Роль Ч/Д Дней Результаты
1 Создание методики SQE 3 3 методика функционального
функционального тестирования системы в формате
тестирования MS Word.
2 Разработка SQE 2 5 тестовые требования;
функциональной тестовые сценарии для
TD 15
тестовой модели функционального тестирования
3 Проведение итерации SQE 6 8 результаты всех тестов в формате
тестирования системы сопровождения процесса
TD 26
тестирования. В случае ее
отсутствия в формате MS Word
список обнаруженных дефектов (в
формате MS Office).
4 Подготовка финального SQE 2 2 Дана оценка качества системы;
отчета по всем дефектам, существующим
на момент окончания
тестирования.
5 Управление проектом PM • управление командой проекта;
• решение организационных
вопросов.
16. Пример исходных данных
Пункт ФТ Название ФТ ТК
Система ХХХ
4.2.2.1 Подсистема взаимодействия 14 56
4.2.2.2 Подсистема ведения модели регламентов 18 72
услуг
4.2.2.3 Подсистема обработки обращений 21 63
4.2.2.4 Подсистема мониторинга 3 15
4.2.2.5 Подсистема Администрирования 14 28
Итого 70 234
Операция Ч/Ч
Число итераций тестирования 2
Время на разработку ТК 2
Время на прохождение ТК 1
17. Финальная оценка
Содержит:
• Нет рваной загрузки ресурсов
• Используются параллельные/
независимо работы
• Подход к тестированию
• Замечания к черновой оценке
• Календарный план
Необходимую информацию
для проверки оценки
18. Факторы влияющие на
оценку
Мы предоставляем «чистую» оценку без влияния ниже
перечисленных факторов:
Ожидания заказчика:
• Стоимость проекта
• Длительность проекта
Ожидания руководства:
• Завоевание нового заказчика
• Прибыльность проекта
19. Защита оценки
Обосновать полученные результаты:
• Подход к тестированию на данном проекте
• Состав работ на каждом из этапов
• Объем работ, состав и размер команды
Опираемся на исходные
данные
20. Накопление опыта
Сбор данных по окончании проекта
• Число разработанных тестов
• Время на разработку тестов
• Время на выполнение тестов
• Численность команды
• Состав команды
Агрегирование информации, обработка, создание
базы знаний для повышение точности оценки
21. Заключение
Проведение оценки на основании бизнес-процессов:
Преимущества:
• Понятные бизнесу основания для оценки
• Не требуется доскональное знание реализации тестируемого ПО
• Подходит для оценки новых или уже внедренных систем
Недостатки
• Жесткие требования к знанию
предметной области
• Много коммуникаций
22. Полезные материалы
• «Оптимизация качества - практический подход к тестированию ПО» -
Andreas Golze, Mark Sarbiewski, Alain Zaim
• COCOMO II –
http://sunset.usc.edu/csse/research/COCOMOII/cocomo_main.html
• «Сравнение методов оценки стоимости проектов по разработке
информационных систем» – Н.Михайловский
(http://www.pmprofy.ru/content/rus/79/797-article.asp)