ݺߣ

ݺߣShare a Scribd company logo
Человеко-дни на тестирование или как
      не ошибиться с оценкой
    Александр Башарин. ООО «Перфоманс-лаб»
Докладчик
Башарин Александр Петрович - Руководитель
направления функционального и автоматизированного
тестирования компании «Перфоманс Лаб»

•   Общий стаж работ в области обеспечения качества 8 лет
•   Опыт функционального тестирования 5 лет
•   Опыт автоматизированного тестирования 3 года
Зачем оценивать?
Зачем нужна оценка:
  •   Определить объем
  •   Определить срок
  •   Определить ресурсы
  •   Рассчитать стоимость
Прежде чем оценивать
• Создаем регламент проведение оценок
• Создаѐм шаблоны:
    опросник для клиента

    типовых работ по различным услугам
• Выделяем технического консультанта, ответственного за оценку
• Выделяем эксперта, согласующего все оценки
   Любая оценка, предоставляемая клиенту, должна
      проходить через формальную процедуру
Способы оценки

Какие подходы используются для оценки:
•   Экспертная оценка
•   Оценка по аналогии
•   Program Evaluation and Review Technique (PERT)
•   Use Case Points
•   FP
•   FFP
•   их тысячи…
Что же использовать

Оценка тестирования
•   Экспертная оценка/Оценка по аналогии
•   PERT
•   Use Case –Сценарии использования
•   Бизнес процессы/Бизнес функции
Не стоит
•   Функциональные точки FP/ FFP
Оценка по бизнес процессам
•   Определяем тестируемые бизнес процессы
•   Ранжируем БП по классам систем
•   Определяем единицу измерения – тест кейс
•   Определяем число ТК на БП в зависимости от класса


Можно использовать
•   Для разрабатываемых систем
•   Для внедренных систем
•   В условиях ограниченной информации
Допущения
•   Число тестов, для покрытия бизнес процесса
•   Идеальное время разработки теста
•   Идеальное время на выполнение теста
•   Детализация тестового сценария
•   Глубина тестового сценария


       Основываясь на опыте, дальше
               настраивать
А где же риски?
Буферы заложены в разработку:
•   Тестов
•   Методик
•   Отчетов
•   Прохождение тестов

Определяя величину буфера
надо учитывать:
•   Разную квалификацию сотрудников
•   Доступность информации
•   Налаженность коммуникаций
•   Сложность проекта
Пример

Дано:
•   15 систем, затронутых миграцией
•   Сжатые сроки на подготовку КП
•   Информации где-то избыток, где-то нет
Получить на выходе:
•   Виды тестирования
•   Трудозатраты общие
•   Трудозатраты по системам
•   Объем/состав команды
• Обосновать полученные сроки и трудозатраты
А теперь оцениваем

Что нам нужно?
•    Перечень затрагиваемых бизнес процессов
•    Описание систем и их функций
•    Схемы взаимодействия
Что делать?
1.   Собрать информацию
2.   Обработать
3.   Подготовить оценку
4.   Проверить/Согласовать
5.   Защитить
Сбор данных
•   Определить ответственных за системы
•   Собрать информацию по системам:
      Сбор документов (ТЗ, ФТ, перечень
       бизнес процессов)
      Анкетирование
      Интервьюирование
•   Собрать информацию о наличии
      Тестировщиков
      Тестовых моделей
      Средств сопровождения и автоматизации тестирования
Обработка
•    Выделить виды тестирования
•    Определить число тестов на БП
•    Время на разработку тестов
•    Время на прохождение тестов
•    Число итераций




    Для повышения точности использовать несколько
                     оценщиков
Черновая оценка
Черновая оценка содержит
•   Этапы работ
•   Время выполнения каждого этапа
•   Состав команды
•   Численность команды
•   Число тестов на систему




     Исходные данные для проверяющего оценку
Пример оценки
№       Этап работ          Роль   Ч/Д   Дней            Результаты
1   Создание методики       SQE     3     3     методика функционального
    функционального                             тестирования системы в формате
    тестирования                                MS Word.
2   Разработка              SQE     2     5     тестовые требования;
    функциональной                              тестовые сценарии для
                             TD    15
    тестовой модели                             функционального тестирования
3   Проведение итерации     SQE     6     8     результаты всех тестов в формате
    тестирования                                системы сопровождения процесса
                             TD    26
                                                тестирования. В случае ее
                                                отсутствия в формате MS Word
                                                список обнаруженных дефектов (в
                                                формате MS Office).
4   Подготовка финального   SQE     2     2     Дана оценка качества системы;
    отчета                                      по всем дефектам, существующим
                                                на момент окончания
                                                тестирования.
5   Управление проектом      PM                 • управление командой проекта;
                                                • решение организационных
                                                вопросов.
Пример исходных данных
   Пункт ФТ                         Название                ФТ   ТК
                                    Система ХХХ
4.2.2.1             Подсистема взаимодействия               14   56

4.2.2.2             Подсистема ведения модели регламентов   18   72
                    услуг
4.2.2.3             Подсистема обработки обращений          21   63

4.2.2.4             Подсистема мониторинга                  3    15

4.2.2.5             Подсистема Администрирования            14   28

                          Итого                             70   234


Операция                      Ч/Ч
Число итераций тестирования   2

Время на разработку ТК        2

Время на прохождение ТК       1
Финальная оценка

Содержит:
•   Нет рваной загрузки ресурсов
•   Используются параллельные/
    независимо работы
•   Подход к тестированию
•   Замечания к черновой оценке
•   Календарный план

Необходимую информацию
   для проверки оценки
Факторы влияющие на
                                    оценку
Мы предоставляем «чистую» оценку без влияния ниже
перечисленных факторов:

Ожидания заказчика:
• Стоимость проекта
• Длительность проекта
Ожидания руководства:
• Завоевание нового заказчика
• Прибыльность проекта
Защита оценки

Обосновать полученные результаты:
•    Подход к тестированию на данном проекте
•    Состав работ на каждом из этапов
•    Объем работ, состав и размер команды


    Опираемся на исходные
           данные
Накопление опыта

Сбор данных по окончании проекта
•   Число разработанных тестов
•   Время на разработку тестов
•   Время на выполнение тестов
•   Численность команды
•   Состав команды


    Агрегирование информации, обработка, создание
      базы знаний для повышение точности оценки
Заключение
Проведение оценки на основании бизнес-процессов:
Преимущества:
•   Понятные бизнесу основания для оценки
•   Не требуется доскональное знание реализации тестируемого ПО
•   Подходит для оценки новых или уже внедренных систем
Недостатки
•   Жесткие требования к знанию
    предметной области
•   Много коммуникаций
Полезные материалы

•   «Оптимизация качества - практический подход к тестированию ПО» -
    Andreas Golze, Mark Sarbiewski, Alain Zaim
•   COCOMO II –
    http://sunset.usc.edu/csse/research/COCOMOII/cocomo_main.html
•   «Сравнение методов оценки стоимости проектов по разработке
     информационных систем» – Н.Михайловский
     (http://www.pmprofy.ru/content/rus/79/797-article.asp)
Вопросы

Башарин Александр, Перфоманс лаб.
        basharin@yandex.ru
   http://www.performance-lab.ru

More Related Content

What's hot (20)

Как оценить проект, чтобы не было мучительно больно...потом
Как оценить проект, чтобы не было мучительно больно...потомКак оценить проект, чтобы не было мучительно больно...потом
Как оценить проект, чтобы не было мучительно больно...потом
Vladymyr Rudenko
Планирование трудозатрат на тестирование
Планирование трудозатрат на тестированиеПланирование трудозатрат на тестирование
Планирование трудозатрат на тестирование
Softengi
Waterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестированияWaterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестирования
SQALab
Test labs 2016. Пренебрежение лучшими практиками тестирования
Test labs 2016. Пренебрежение лучшими практиками тестированияTest labs 2016. Пренебрежение лучшими практиками тестирования
Test labs 2016. Пренебрежение лучшими практиками тестирования
Sasha Soleev
Test labs 2016. QA в тотальном аутсорсе
Test labs 2016. QA в тотальном аутсорсеTest labs 2016. QA в тотальном аутсорсе
Test labs 2016. QA в тотальном аутсорсе
Sasha Soleev
Оценка сроков IT проектов
Оценка сроков IT проектовОценка сроков IT проектов
Оценка сроков IT проектов
Alexander Kalinichev
Crystal Agile, или как мы приспособили процесс разработки для обеспечения мак...
Crystal Agile, или как мы приспособили процесс разработки для обеспечения мак...Crystal Agile, или как мы приспособили процесс разработки для обеспечения мак...
Crystal Agile, или как мы приспособили процесс разработки для обеспечения мак...
SQALab
Эффективное взаимодействие тестировщика и аналитика
Эффективное взаимодействие тестировщика и аналитикаЭффективное взаимодействие тестировщика и аналитика
Эффективное взаимодействие тестировщика и аналитика
SQALab
Пополняем арсенал тестировщика. Учимся применять новые техники
Пополняем арсенал тестировщика. Учимся применять новые техникиПополняем арсенал тестировщика. Учимся применять новые техники
Пополняем арсенал тестировщика. Учимся применять новые техники
SQALab
Распределение тестировщиков по командам как один из этапов контроля качества
Распределение тестировщиков по командам как один из этапов контроля качестваРаспределение тестировщиков по командам как один из этапов контроля качества
Распределение тестировщиков по командам как один из этапов контроля качества
SQALab
Варианты использования (use cases) для быстрой оценки проектов
Варианты использования (use cases) для быстрой оценки проектовВарианты использования (use cases) для быстрой оценки проектов
Варианты использования (use cases) для быстрой оценки проектов
SQALab
Оценка трудоёмкости и сроков разработки ПО
Оценка трудоёмкости и сроков разработки ПООценка трудоёмкости и сроков разработки ПО
Оценка трудоёмкости и сроков разработки ПО
SQALab
Sq adays 2010_balashenko
Sq adays 2010_balashenkoSq adays 2010_balashenko
Sq adays 2010_balashenko
Alexei Lupan
Процесс тестирования. Измерение и оценка
Процесс тестирования. Измерение и оценкаПроцесс тестирования. Измерение и оценка
Процесс тестирования. Измерение и оценка
SQALab
Аудит команды тестирования в сложном проекте
Аудит команды тестирования в сложном проектеАудит команды тестирования в сложном проекте
Аудит команды тестирования в сложном проекте
SQALab
Обеспечение качества: Практические советы
Обеспечение качества: Практические советыОбеспечение качества: Практические советы
Обеспечение качества: Практические советы
SQALab
Никита Налютин, Антон Александров - Управление рисками тестирования
Никита Налютин, Антон Александров - Управление рисками тестированияНикита Налютин, Антон Александров - Управление рисками тестирования
Никита Налютин, Антон Александров - Управление рисками тестирования
SQALab
Тестируем развитие тестировщика
Тестируем развитие тестировщикаТестируем развитие тестировщика
Тестируем развитие тестировщика
SQALab
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибкиQA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
QAFest
Оценка проектов тестирования
Оценка проектов тестированияОценка проектов тестирования
Оценка проектов тестирования
Rina Uzhevko
Как оценить проект, чтобы не было мучительно больно...потом
Как оценить проект, чтобы не было мучительно больно...потомКак оценить проект, чтобы не было мучительно больно...потом
Как оценить проект, чтобы не было мучительно больно...потом
Vladymyr Rudenko
Планирование трудозатрат на тестирование
Планирование трудозатрат на тестированиеПланирование трудозатрат на тестирование
Планирование трудозатрат на тестирование
Softengi
Waterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестированияWaterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестирования
SQALab
Test labs 2016. Пренебрежение лучшими практиками тестирования
Test labs 2016. Пренебрежение лучшими практиками тестированияTest labs 2016. Пренебрежение лучшими практиками тестирования
Test labs 2016. Пренебрежение лучшими практиками тестирования
Sasha Soleev
Test labs 2016. QA в тотальном аутсорсе
Test labs 2016. QA в тотальном аутсорсеTest labs 2016. QA в тотальном аутсорсе
Test labs 2016. QA в тотальном аутсорсе
Sasha Soleev
Оценка сроков IT проектов
Оценка сроков IT проектовОценка сроков IT проектов
Оценка сроков IT проектов
Alexander Kalinichev
Crystal Agile, или как мы приспособили процесс разработки для обеспечения мак...
Crystal Agile, или как мы приспособили процесс разработки для обеспечения мак...Crystal Agile, или как мы приспособили процесс разработки для обеспечения мак...
Crystal Agile, или как мы приспособили процесс разработки для обеспечения мак...
SQALab
Эффективное взаимодействие тестировщика и аналитика
Эффективное взаимодействие тестировщика и аналитикаЭффективное взаимодействие тестировщика и аналитика
Эффективное взаимодействие тестировщика и аналитика
SQALab
Пополняем арсенал тестировщика. Учимся применять новые техники
Пополняем арсенал тестировщика. Учимся применять новые техникиПополняем арсенал тестировщика. Учимся применять новые техники
Пополняем арсенал тестировщика. Учимся применять новые техники
SQALab
Распределение тестировщиков по командам как один из этапов контроля качества
Распределение тестировщиков по командам как один из этапов контроля качестваРаспределение тестировщиков по командам как один из этапов контроля качества
Распределение тестировщиков по командам как один из этапов контроля качества
SQALab
Варианты использования (use cases) для быстрой оценки проектов
Варианты использования (use cases) для быстрой оценки проектовВарианты использования (use cases) для быстрой оценки проектов
Варианты использования (use cases) для быстрой оценки проектов
SQALab
Оценка трудоёмкости и сроков разработки ПО
Оценка трудоёмкости и сроков разработки ПООценка трудоёмкости и сроков разработки ПО
Оценка трудоёмкости и сроков разработки ПО
SQALab
Sq adays 2010_balashenko
Sq adays 2010_balashenkoSq adays 2010_balashenko
Sq adays 2010_balashenko
Alexei Lupan
Процесс тестирования. Измерение и оценка
Процесс тестирования. Измерение и оценкаПроцесс тестирования. Измерение и оценка
Процесс тестирования. Измерение и оценка
SQALab
Аудит команды тестирования в сложном проекте
Аудит команды тестирования в сложном проектеАудит команды тестирования в сложном проекте
Аудит команды тестирования в сложном проекте
SQALab
Обеспечение качества: Практические советы
Обеспечение качества: Практические советыОбеспечение качества: Практические советы
Обеспечение качества: Практические советы
SQALab
Никита Налютин, Антон Александров - Управление рисками тестирования
Никита Налютин, Антон Александров - Управление рисками тестированияНикита Налютин, Антон Александров - Управление рисками тестирования
Никита Налютин, Антон Александров - Управление рисками тестирования
SQALab
Тестируем развитие тестировщика
Тестируем развитие тестировщикаТестируем развитие тестировщика
Тестируем развитие тестировщика
SQALab
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибкиQA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
QAFest
Оценка проектов тестирования
Оценка проектов тестированияОценка проектов тестирования
Оценка проектов тестирования
Rina Uzhevko

Viewers also liked (7)

Оценки имеют значение. Практические советы по оценке задач тестирования на ка...
Оценки имеют значение. Практические советы по оценке задач тестирования на ка...Оценки имеют значение. Практические советы по оценке задач тестирования на ка...
Оценки имеют значение. Практические советы по оценке задач тестирования на ка...
SQALab
Артефакты тестирования: быть или не быть?
Артефакты тестирования: быть или не быть?Артефакты тестирования: быть или не быть?
Артефакты тестирования: быть или не быть?
Maksim Grinevich
Управление тестированием в Agile
Управление тестированием в AgileУправление тестированием в Agile
Управление тестированием в Agile
Askhat Urazbaev
«1С-Битрикс: Управление сайтом» 15.5
«1С-Битрикс: Управление сайтом» 15.5«1С-Битрикс: Управление сайтом» 15.5
«1С-Битрикс: Управление сайтом» 15.5
1С-Битрикс
Обгони конкурентов: лучшие технологии борьбы за покупателя в Интернете
Обгони конкурентов: лучшие технологии борьбы за покупателя в ИнтернетеОбгони конкурентов: лучшие технологии борьбы за покупателя в Интернете
Обгони конкурентов: лучшие технологии борьбы за покупателя в Интернете
1С-Битрикс
Новинки «1С-Битрикс: Управление сайтом» 16.5
Новинки «1С-Битрикс: Управление сайтом» 16.5Новинки «1С-Битрикс: Управление сайтом» 16.5
Новинки «1С-Битрикс: Управление сайтом» 16.5
Наталья Сергеева
Современные технологии сайтостроения для решения бизнес-задач
Современные технологии сайтостроения для решения бизнес-задачСовременные технологии сайтостроения для решения бизнес-задач
Современные технологии сайтостроения для решения бизнес-задач
1С-Битрикс
Оценки имеют значение. Практические советы по оценке задач тестирования на ка...
Оценки имеют значение. Практические советы по оценке задач тестирования на ка...Оценки имеют значение. Практические советы по оценке задач тестирования на ка...
Оценки имеют значение. Практические советы по оценке задач тестирования на ка...
SQALab
Артефакты тестирования: быть или не быть?
Артефакты тестирования: быть или не быть?Артефакты тестирования: быть или не быть?
Артефакты тестирования: быть или не быть?
Maksim Grinevich
Управление тестированием в Agile
Управление тестированием в AgileУправление тестированием в Agile
Управление тестированием в Agile
Askhat Urazbaev
«1С-Битрикс: Управление сайтом» 15.5
«1С-Битрикс: Управление сайтом» 15.5«1С-Битрикс: Управление сайтом» 15.5
«1С-Битрикс: Управление сайтом» 15.5
1С-Битрикс
Обгони конкурентов: лучшие технологии борьбы за покупателя в Интернете
Обгони конкурентов: лучшие технологии борьбы за покупателя в ИнтернетеОбгони конкурентов: лучшие технологии борьбы за покупателя в Интернете
Обгони конкурентов: лучшие технологии борьбы за покупателя в Интернете
1С-Битрикс
Новинки «1С-Битрикс: Управление сайтом» 16.5
Новинки «1С-Битрикс: Управление сайтом» 16.5Новинки «1С-Битрикс: Управление сайтом» 16.5
Новинки «1С-Битрикс: Управление сайтом» 16.5
Наталья Сергеева
Современные технологии сайтостроения для решения бизнес-задач
Современные технологии сайтостроения для решения бизнес-задачСовременные технологии сайтостроения для решения бизнес-задач
Современные технологии сайтостроения для решения бизнес-задач
1С-Битрикс

Similar to Человеко-дни на тестирование или как не ошибиться с оценкой (20)

доклад на SQADays 2011 в Казани
доклад на SQADays  2011 в Казанидоклад на SQADays  2011 в Казани
доклад на SQADays 2011 в Казани
margo-qa
2.3 Тестирование: процесс, роли, артефакты
2.3 Тестирование: процесс, роли, артефакты2.3 Тестирование: процесс, роли, артефакты
2.3 Тестирование: процесс, роли, артефакты
Natalia Odegova
Маргарита Сафарова - Аудит процессов тестирования при смене проектной команды
Маргарита Сафарова - Аудит процессов тестирования при смене проектной командыМаргарита Сафарова - Аудит процессов тестирования при смене проектной команды
Маргарита Сафарова - Аудит процессов тестирования при смене проектной команды
SQALab
Как развить отдел тестирования от палки-копалки до CI
Как развить отдел тестирования от палки-копалки до CIКак развить отдел тестирования от палки-копалки до CI
Как развить отдел тестирования от палки-копалки до CI
CEE-SEC(R)
Сергей Ревко
Сергей РевкоСергей Ревко
Сергей Ревко
SQALab
Модуль 8. Лекция 37-38. Управление качеством проекта
Модуль 8. Лекция 37-38. Управление качеством проектаМодуль 8. Лекция 37-38. Управление качеством проекта
Модуль 8. Лекция 37-38. Управление качеством проекта
Yana Brodetski
Улучшение процесса тестирования: контентные модели
Улучшение процесса тестирования: контентные моделиУлучшение процесса тестирования: контентные модели
Улучшение процесса тестирования: контентные модели
SQALab
Опыт осторожного внедрения инструментов Теории Ограничений в крупной компании...
Опыт осторожного внедрения инструментов Теории Ограничений в крупной компании...Опыт осторожного внедрения инструментов Теории Ограничений в крупной компании...
Опыт осторожного внедрения инструментов Теории Ограничений в крупной компании...
Ontico
Cовременные подходы организации процессов разработки
Cовременные подходы организации процессов разработкиCовременные подходы организации процессов разработки
Cовременные подходы организации процессов разработки
Александр Шамрай
Test Strategy: creation and optimization - QA Fest-2017 (Тестовая стратегия: ...
Test Strategy: creation and optimization - QA Fest-2017 (Тестовая стратегия: ...Test Strategy: creation and optimization - QA Fest-2017 (Тестовая стратегия: ...
Test Strategy: creation and optimization - QA Fest-2017 (Тестовая стратегия: ...
Andrey Ladutko
QA Fest 2017. Андрей Ладутько.Тестовая стратегия: создание и оптимизация
QA Fest 2017. Андрей Ладутько.Тестовая стратегия: создание и оптимизацияQA Fest 2017. Андрей Ладутько.Тестовая стратегия: создание и оптимизация
QA Fest 2017. Андрей Ладутько.Тестовая стратегия: создание и оптимизация
QAFest
Организация процесса ручного тестирования
Организация процесса ручного тестированияОрганизация процесса ручного тестирования
Организация процесса ручного тестирования
IT61
Денис Бесков. Как обеспечивать полноту требований
Денис Бесков. Как обеспечивать полноту требованийДенис Бесков. Как обеспечивать полноту требований
Денис Бесков. Как обеспечивать полноту требований
Denis Beskov
Как принести пользу разработке и упростить себе жизнь?
Как принести пользу разработке и упростить себе жизнь?Как принести пользу разработке и упростить себе жизнь?
Как принести пользу разработке и упростить себе жизнь?
SQALab
Методы оценки качества требований и работы аналитика
Методы оценки качества требований и работы аналитикаМетоды оценки качества требований и работы аналитика
Методы оценки качества требований и работы аналитика
Alexander Novichkov
Метрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцахМетрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцах
SQALab
Становление процесса автоматизированного тестирования в интернет-магазине ОКЕЙ
Становление процесса автоматизированного тестирования в интернет-магазине ОКЕЙСтановление процесса автоматизированного тестирования в интернет-магазине ОКЕЙ
Становление процесса автоматизированного тестирования в интернет-магазине ОКЕЙ
CEE-SEC(R)
Процесс тестирования
Процесс тестированияПроцесс тестирования
Процесс тестирования
Alexander Solosh
доклад на SQADays 2011 в Казани
доклад на SQADays  2011 в Казанидоклад на SQADays  2011 в Казани
доклад на SQADays 2011 в Казани
margo-qa
2.3 Тестирование: процесс, роли, артефакты
2.3 Тестирование: процесс, роли, артефакты2.3 Тестирование: процесс, роли, артефакты
2.3 Тестирование: процесс, роли, артефакты
Natalia Odegova
Маргарита Сафарова - Аудит процессов тестирования при смене проектной команды
Маргарита Сафарова - Аудит процессов тестирования при смене проектной командыМаргарита Сафарова - Аудит процессов тестирования при смене проектной команды
Маргарита Сафарова - Аудит процессов тестирования при смене проектной команды
SQALab
Как развить отдел тестирования от палки-копалки до CI
Как развить отдел тестирования от палки-копалки до CIКак развить отдел тестирования от палки-копалки до CI
Как развить отдел тестирования от палки-копалки до CI
CEE-SEC(R)
Сергей Ревко
Сергей РевкоСергей Ревко
Сергей Ревко
SQALab
Модуль 8. Лекция 37-38. Управление качеством проекта
Модуль 8. Лекция 37-38. Управление качеством проектаМодуль 8. Лекция 37-38. Управление качеством проекта
Модуль 8. Лекция 37-38. Управление качеством проекта
Yana Brodetski
Улучшение процесса тестирования: контентные модели
Улучшение процесса тестирования: контентные моделиУлучшение процесса тестирования: контентные модели
Улучшение процесса тестирования: контентные модели
SQALab
Опыт осторожного внедрения инструментов Теории Ограничений в крупной компании...
Опыт осторожного внедрения инструментов Теории Ограничений в крупной компании...Опыт осторожного внедрения инструментов Теории Ограничений в крупной компании...
Опыт осторожного внедрения инструментов Теории Ограничений в крупной компании...
Ontico
Cовременные подходы организации процессов разработки
Cовременные подходы организации процессов разработкиCовременные подходы организации процессов разработки
Cовременные подходы организации процессов разработки
Александр Шамрай
Test Strategy: creation and optimization - QA Fest-2017 (Тестовая стратегия: ...
Test Strategy: creation and optimization - QA Fest-2017 (Тестовая стратегия: ...Test Strategy: creation and optimization - QA Fest-2017 (Тестовая стратегия: ...
Test Strategy: creation and optimization - QA Fest-2017 (Тестовая стратегия: ...
Andrey Ladutko
QA Fest 2017. Андрей Ладутько.Тестовая стратегия: создание и оптимизация
QA Fest 2017. Андрей Ладутько.Тестовая стратегия: создание и оптимизацияQA Fest 2017. Андрей Ладутько.Тестовая стратегия: создание и оптимизация
QA Fest 2017. Андрей Ладутько.Тестовая стратегия: создание и оптимизация
QAFest
Организация процесса ручного тестирования
Организация процесса ручного тестированияОрганизация процесса ручного тестирования
Организация процесса ручного тестирования
IT61
Денис Бесков. Как обеспечивать полноту требований
Денис Бесков. Как обеспечивать полноту требованийДенис Бесков. Как обеспечивать полноту требований
Денис Бесков. Как обеспечивать полноту требований
Denis Beskov
Как принести пользу разработке и упростить себе жизнь?
Как принести пользу разработке и упростить себе жизнь?Как принести пользу разработке и упростить себе жизнь?
Как принести пользу разработке и упростить себе жизнь?
SQALab
Методы оценки качества требований и работы аналитика
Методы оценки качества требований и работы аналитикаМетоды оценки качества требований и работы аналитика
Методы оценки качества требований и работы аналитика
Alexander Novichkov
Метрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцахМетрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцах
SQALab
Становление процесса автоматизированного тестирования в интернет-магазине ОКЕЙ
Становление процесса автоматизированного тестирования в интернет-магазине ОКЕЙСтановление процесса автоматизированного тестирования в интернет-магазине ОКЕЙ
Становление процесса автоматизированного тестирования в интернет-магазине ОКЕЙ
CEE-SEC(R)
Процесс тестирования
Процесс тестированияПроцесс тестирования
Процесс тестирования
Alexander Solosh

More from SQALab (20)

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировку
SQALab
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщика
SQALab
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержки
SQALab
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
SQALab
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
SQALab
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testing
SQALab
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нужен
SQALab
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихии
SQALab
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советов
SQALab
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
SQALab
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
SQALab
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджменте
SQALab
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
SQALab
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
SQALab
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестирование
SQALab
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"
SQALab
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектов
SQALab
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных систем
SQALab
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопрос
SQALab
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
SQALab
Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировку
SQALab
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщика
SQALab
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержки
SQALab
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
SQALab
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
SQALab
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testing
SQALab
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нужен
SQALab
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихии
SQALab
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советов
SQALab
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
SQALab
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
SQALab
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджменте
SQALab
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
SQALab
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
SQALab
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестирование
SQALab
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"
SQALab
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектов
SQALab
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных систем
SQALab
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопрос
SQALab
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
SQALab

Человеко-дни на тестирование или как не ошибиться с оценкой

  • 1. Человеко-дни на тестирование или как не ошибиться с оценкой Александр Башарин. ООО «Перфоманс-лаб»
  • 2. Докладчик Башарин Александр Петрович - Руководитель направления функционального и автоматизированного тестирования компании «Перфоманс Лаб» • Общий стаж работ в области обеспечения качества 8 лет • Опыт функционального тестирования 5 лет • Опыт автоматизированного тестирования 3 года
  • 3. Зачем оценивать? Зачем нужна оценка: • Определить объем • Определить срок • Определить ресурсы • Рассчитать стоимость
  • 4. Прежде чем оценивать • Создаем регламент проведение оценок • Создаѐм шаблоны:  опросник для клиента  типовых работ по различным услугам • Выделяем технического консультанта, ответственного за оценку • Выделяем эксперта, согласующего все оценки Любая оценка, предоставляемая клиенту, должна проходить через формальную процедуру
  • 5. Способы оценки Какие подходы используются для оценки: • Экспертная оценка • Оценка по аналогии • Program Evaluation and Review Technique (PERT) • Use Case Points • FP • FFP • их тысячи…
  • 6. Что же использовать Оценка тестирования • Экспертная оценка/Оценка по аналогии • PERT • Use Case –Сценарии использования • Бизнес процессы/Бизнес функции Не стоит • Функциональные точки FP/ FFP
  • 7. Оценка по бизнес процессам • Определяем тестируемые бизнес процессы • Ранжируем БП по классам систем • Определяем единицу измерения – тест кейс • Определяем число ТК на БП в зависимости от класса Можно использовать • Для разрабатываемых систем • Для внедренных систем • В условиях ограниченной информации
  • 8. Допущения • Число тестов, для покрытия бизнес процесса • Идеальное время разработки теста • Идеальное время на выполнение теста • Детализация тестового сценария • Глубина тестового сценария Основываясь на опыте, дальше настраивать
  • 9. А где же риски? Буферы заложены в разработку: • Тестов • Методик • Отчетов • Прохождение тестов Определяя величину буфера надо учитывать: • Разную квалификацию сотрудников • Доступность информации • Налаженность коммуникаций • Сложность проекта
  • 10. Пример Дано: • 15 систем, затронутых миграцией • Сжатые сроки на подготовку КП • Информации где-то избыток, где-то нет Получить на выходе: • Виды тестирования • Трудозатраты общие • Трудозатраты по системам • Объем/состав команды • Обосновать полученные сроки и трудозатраты
  • 11. А теперь оцениваем Что нам нужно? • Перечень затрагиваемых бизнес процессов • Описание систем и их функций • Схемы взаимодействия Что делать? 1. Собрать информацию 2. Обработать 3. Подготовить оценку 4. Проверить/Согласовать 5. Защитить
  • 12. Сбор данных • Определить ответственных за системы • Собрать информацию по системам:  Сбор документов (ТЗ, ФТ, перечень бизнес процессов)  Анкетирование  Интервьюирование • Собрать информацию о наличии  Тестировщиков  Тестовых моделей  Средств сопровождения и автоматизации тестирования
  • 13. Обработка • Выделить виды тестирования • Определить число тестов на БП • Время на разработку тестов • Время на прохождение тестов • Число итераций Для повышения точности использовать несколько оценщиков
  • 14. Черновая оценка Черновая оценка содержит • Этапы работ • Время выполнения каждого этапа • Состав команды • Численность команды • Число тестов на систему Исходные данные для проверяющего оценку
  • 15. Пример оценки № Этап работ Роль Ч/Д Дней Результаты 1 Создание методики SQE 3 3 методика функционального функционального тестирования системы в формате тестирования MS Word. 2 Разработка SQE 2 5 тестовые требования; функциональной тестовые сценарии для TD 15 тестовой модели функционального тестирования 3 Проведение итерации SQE 6 8 результаты всех тестов в формате тестирования системы сопровождения процесса TD 26 тестирования. В случае ее отсутствия в формате MS Word список обнаруженных дефектов (в формате MS Office). 4 Подготовка финального SQE 2 2 Дана оценка качества системы; отчета по всем дефектам, существующим на момент окончания тестирования. 5 Управление проектом PM • управление командой проекта; • решение организационных вопросов.
  • 16. Пример исходных данных Пункт ФТ Название ФТ ТК Система ХХХ 4.2.2.1 Подсистема взаимодействия 14 56 4.2.2.2 Подсистема ведения модели регламентов 18 72 услуг 4.2.2.3 Подсистема обработки обращений 21 63 4.2.2.4 Подсистема мониторинга 3 15 4.2.2.5 Подсистема Администрирования 14 28 Итого 70 234 Операция Ч/Ч Число итераций тестирования 2 Время на разработку ТК 2 Время на прохождение ТК 1
  • 17. Финальная оценка Содержит: • Нет рваной загрузки ресурсов • Используются параллельные/ независимо работы • Подход к тестированию • Замечания к черновой оценке • Календарный план Необходимую информацию для проверки оценки
  • 18. Факторы влияющие на оценку Мы предоставляем «чистую» оценку без влияния ниже перечисленных факторов: Ожидания заказчика: • Стоимость проекта • Длительность проекта Ожидания руководства: • Завоевание нового заказчика • Прибыльность проекта
  • 19. Защита оценки Обосновать полученные результаты: • Подход к тестированию на данном проекте • Состав работ на каждом из этапов • Объем работ, состав и размер команды Опираемся на исходные данные
  • 20. Накопление опыта Сбор данных по окончании проекта • Число разработанных тестов • Время на разработку тестов • Время на выполнение тестов • Численность команды • Состав команды Агрегирование информации, обработка, создание базы знаний для повышение точности оценки
  • 21. Заключение Проведение оценки на основании бизнес-процессов: Преимущества: • Понятные бизнесу основания для оценки • Не требуется доскональное знание реализации тестируемого ПО • Подходит для оценки новых или уже внедренных систем Недостатки • Жесткие требования к знанию предметной области • Много коммуникаций
  • 22. Полезные материалы • «Оптимизация качества - практический подход к тестированию ПО» - Andreas Golze, Mark Sarbiewski, Alain Zaim • COCOMO II – http://sunset.usc.edu/csse/research/COCOMOII/cocomo_main.html • «Сравнение методов оценки стоимости проектов по разработке информационных систем» – Н.Михайловский (http://www.pmprofy.ru/content/rus/79/797-article.asp)
  • 23. Вопросы Башарин Александр, Перфоманс лаб. basharin@yandex.ru http://www.performance-lab.ru