ݺߣ

ݺߣShare a Scribd company logo

«A/B testing или реинкарнация Библейского змея...»

•Download as PPTX, PDF•
•
Provectus
Provectus

QA Expert Day Дмитрий Подымов , Senior QA/Lead в Live Nation project (Provectus) : «A/B testing или реинкарнация Библейского змея...»

1 of 10
А/В testing или реинкарнация библейского змея… Дмитрий Подымов
Кому это надо?  Маркетологам для определения правильного расположения товара на сайте  Рекламным компаниям для определения правильного мотивирования потенциального покупателя  Third-party провайдерам для определения Conversion Rate их контента в различных вариациях  ВАМ, если Вы владеете сайтом и хотите увеличить его рентабельность (и тот же Conversion Rate) Другими словами, мы искушаем пользователя, заставляем его тратить те ресурсы (деньги, время и т.п.), которые он не планировал тратить! Или из всего многообразия предложений выбрать именно наш вариант, что суть более благородная цель  2
3 Теория A/B testing (Split testing) — метод маркетингового исследования, суть которого заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп, в которых один или несколько показателей были изменены, для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Примером может служить исследование влияния цветовой схемы, расположения и размера элементов интерфейса на конверсию сайта. Тестируются 2 очень похожие страницы (страница А и страница В), которые различаются лишь одним элементом или несколькими элементами (тогда метод называют A/B/N Testing). Страницы А и В показываются пользователям в равных пропорциях, при этом посетители, как правило, не знают об этом. При достижении определённого статистически значимого числа показов, сравниваются числовые показатели цели и определяется наиболее подходящий вариант страницы.
Как все происходит на самом деле 4 Создаем макет страницы А: Создаем макет страницы В:
Как все происходит на самом деле Инжектируем на целевую страницу JScript провайдера A/B теста. Это может быть Optimizely, Maxymiser, Google Analytics и т.д. Пример инжекта JScript на www.ticketmaster.co.uk: 5 </script> <!-- Optimizely script start --> <script type="text/javascript" src=/slideshow/b-testing/38366033/"http:/media.ticketmaster.co.uk/en-gb/ js/b05ffe54f503388f9605196957b3052f/OptimizelyFn.js"></script> <script type="text/javascript" src="//cdn.optimizely.com/js/592400258.js"></script> <!-- Optimizely script end --> <script type="text/javascript"></script>
Как все происходит на самом деле Провайдер должен иметь обе копии дизайна страницы. При попадании на страницу пользователю показывается тот или иной дизайн страницы и снимается установленная статиcтика. Упрощенно алгоритм показан на схеме (на примере провайдера Optimizely). 6
Как все происходит на самом деле По достижению оговоренного количества экспериментов анализируем результаты 7
Как выбрать стратегию A/B тестинга Тестирование только одного элемента за раз даст лучший результат. Всегда тестируйте одновременно: проведение тестирования двух вариантов в одно и то же время жизненно необходимо для предотвращения искажения результатов с течением времени. Проводите тесты только на новых пользователях: не используйте существующих клиентов в качестве подопытных кроликов при тестировании сайта. Их предвзятое мнение может исказить результаты и привести к неточностям. Важно решить, что вы будете тестировать и что для Вас будет считаться успехом. 8
Как НЕ надо тестировать 9
Questions? 10

More Related Content

«A/B testing или реинкарнация Библейского змея...»

  • 1. А/В testing или реинкарнация библейского змея… Дмитрий Подымов
  • 2. Кому это надо?  Маркетологам для определения правильного расположения товара на сайте  Рекламным компаниям для определения правильного мотивирования потенциального покупателя  Third-party провайдерам для определения Conversion Rate их контента в различных вариациях  ВАМ, если Вы владеете сайтом и хотите увеличить его рентабельность (и тот же Conversion Rate) Другими словами, мы искушаем пользователя, заставляем его тратить те ресурсы (деньги, время и т.п.), которые он не планировал тратить! Или из всего многообразия предложений выбрать именно наш вариант, что суть более благородная цель  2
  • 3. 3 Теория A/B testing (Split testing) — метод маркетингового исследования, суть которого заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп, в которых один или несколько показателей были изменены, для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Примером может служить исследование влияния цветовой схемы, расположения и размера элементов интерфейса на конверсию сайта. Тестируются 2 очень похожие страницы (страница А и страница В), которые различаются лишь одним элементом или несколькими элементами (тогда метод называют A/B/N Testing). Страницы А и В показываются пользователям в равных пропорциях, при этом посетители, как правило, не знают об этом. При достижении определённого статистически значимого числа показов, сравниваются числовые показатели цели и определяется наиболее подходящий вариант страницы.
  • 4. Как все происходит на самом деле 4 Создаем макет страницы А: Создаем макет страницы В:
  • 5. Как все происходит на самом деле Инжектируем на целевую страницу JScript провайдера A/B теста. Это может быть Optimizely, Maxymiser, Google Analytics и т.д. Пример инжекта JScript на www.ticketmaster.co.uk: 5 </script> <!-- Optimizely script start --> <script type="text/javascript" src=/slideshow/b-testing/38366033/"http:/media.ticketmaster.co.uk/en-gb/ js/b05ffe54f503388f9605196957b3052f/OptimizelyFn.js"></script> <script type="text/javascript" src="//cdn.optimizely.com/js/592400258.js"></script> <!-- Optimizely script end --> <script type="text/javascript"></script>
  • 6. Как все происходит на самом деле Провайдер должен иметь обе копии дизайна страницы. При попадании на страницу пользователю показывается тот или иной дизайн страницы и снимается установленная статиcтика. Упрощенно алгоритм показан на схеме (на примере провайдера Optimizely). 6
  • 7. Как все происходит на самом деле По достижению оговоренного количества экспериментов анализируем результаты 7
  • 8. Как выбрать стратегию A/B тестинга Тестирование только одного элемента за раз даст лучший результат. Всегда тестируйте одновременно: проведение тестирования двух вариантов в одно и то же время жизненно необходимо для предотвращения искажения результатов с течением времени. Проводите тесты только на новых пользователях: не используйте существующих клиентов в качестве подопытных кроликов при тестировании сайта. Их предвзятое мнение может исказить результаты и привести к неточностям. Важно решить, что вы будете тестировать и что для Вас будет считаться успехом. 8
  • 9. Как НЕ надо тестировать 9