ݺߣ

ݺߣShare a Scribd company logo
Testy a/b 
Barbara Kowalczyk
Quiz
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
3.76% 
1.81% 
Źródło: http://visualwebsiteoptimizer.com/split-testing-blog/increase-in-sales/
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Źródło: https://vwo.com/blog/increase-relevance-to-boost-conversions//
620.9% 
Źródło: https://vwo.com/blog/increase-relevance-to-boost-conversions//
Więcej na: 
https://blog.kissmetrics.com/100-conversion- optimization-case-studies/ 
http://whichtestwon.com/ 
https://vwo.com/resources/casestudy
Po co przeprowadzać testy A/B?
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Testy A/B pozwalają 
•na określenie, która z zaproponowanych wersji będzie mieć najwyższy współczynnik konwersji
Testy A/B pozwalają 
•na określenie, która z zaproponowanych wersji będzie mieć najwyższy współczynnik konwersji, 
•podejmowanie decyzji w oparciu o dane.
Jak działają testy a/b ?
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Warsztat: pierwszy test a/b 
1.Jak zaplanować test a/b? 
2.Jak zaimplementować test a/b? 
3.Jak interpretować wyniki?
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Warsztat: pierwszy test a/b 
1.Jak zaplanować test a/b? 
2.Jak zaimplementować test a/b? 
3.Jak interpretować wyniki?
Krok 1. Stwórz projekt/eksperyment 
Krok 2. Stwórz warianty 
Krok 3. Określ cele 
Krok 4. Określ komu pokazywać test 
Krok 4. Określ na jakich stronach 
Krok 5. Jaka część ruchu ma brać udział w badaniu 
Krok 6. Testowanie 
Krok 7. Określ jak długo powinien trwać test
Źródło: https://learn.optimizely.com/hc/en-us/articles/201943823-Lesson-How-Experiments-Run-on-a-Page 
Jak działa Optimizely
Jak testować swoje pomysły? Testy A/B (CHI Poznań)
Krok 0. Dodaj kod do strony
Krok 1. Stwórz projekt/eksperyment
Krok 2. Stwórz warianty
Krok 2. Stwórz warianty
Krok 3. Określ cele
Krok 3. Określ komu pokazywać
Krok 4. Określ na jakich stronach
Simple match 
Exact Match 
Regular expression 
Substring Match 
Krok 4. Określ na jakich stronach
Simple match: http://www.example.com/ 
•https://www.example.com/ 
•https://www.example.com 
•https://example.com/ 
•http://www.example.com/?x=y http://www.example.com/#section1 
•http://www.example.com/#section1?x=y 
Krok 4. Określ na jakich stronach
Exact match: http://www.example.com/ 
•https://www.example.com/ 
•https://www.example.com 
•https://example.com/ 
•https://example.com 
Krok 4. Określ na jakich stronach
Substring match: http://www.example.com/ http://www.example.com/ 
•https://www.example.com/ 
•http://www.example.com/?x=y 
•http://www.example.com/blog/index.html?x=y 
•https://www.example.com/blog/index.html?x=y 
Krok 4. Określ na jakich stronach
Regular expression: example.com/blog/january?.*x=y 
• http://www.example.com/blog/january?x=y 
• https://example.com/blog/january?a=b&x=y&c=d 
Krok 4. Określ na jakich stronach
Krok 5. Określ ruch
Źródło: https://help.optimizely.com/hc/en-us/articles/201862554-Your-Pre-Launch-Checklist-QA-your-experiment- before-launch 
Krok 6. Testowanie
Źródło: https://help.optimizely.com/hc/en-us/articles/201862554-Your-Pre-Launch-Checklist-QA-your-experiment- before-launch 
Krok 7. Określ jak długo
Krok 1. Stwórz projekt/eksperyment 
Krok 2. Stwórz warianty 
Krok 3. Określ cele 
Krok 4. Określ komu pokazywać test 
Krok 4. Określ na jakich stronach 
Krok 5. Jaka część ruchu ma brać udział w badaniu 
Krok 6. Testowanie 
Krok 7. Określ jak długo powinien trwać test
Warsztat: pierwszy test a/b 
1.Jak zaplanować test a/b? 
2.Jak zaimplementować test a/b? 
3.Jak interpretować wyniki?
Jak optimizely liczy wyniki? 
LICZBA WEJSC 
LICZBA KONWERSJI 
Rzeczywistość
DE-DUPLICATING 
LICZBA WEJSC 
LICZBA KONWERSJI 
LICZBA WEJSC 
LICZBA KONWERSJI 
Rzeczywistość 
Optimizely 
Jak optimizely liczy wyniki?
Wyciągnij wnioski 
Różnica istotna statystycznie to taka, której przypadkowe wystąpienie jest mało prawdopodobne.
W tym celu przeprowadzamy 
test istotności. 
Wyciągnij wnioski
Wyciągnij wnioski
Wyciągnij wnioski
„W oparciu o posiadane informacje 
możemy stwierdzić, że 
na 95% konwersja wersji A 
mieści się w przedziale 5.98%- 6.11%.” 
Wyciągnij wnioski
Co testować?
call to action 
treść 
układ 
flow 
nawigację 
formularze
call to action 
treść 
układ 
flow 
nawigację 
formularze
wersje 
mobilne 
reklamy 
social media 
email 
cenniki
reklamy 
social media 
email 
NUDA
Testy a/b mogą testować pomysły na nowe funkcjonalności
Testy a/b mogą pokazywać jak nasze zmiany wpływają na użytkownika
1.Certyfikat Optimizely: http://success.optimizely.com/certification/ 
2.Knowledge Base/Academy: https://help.optimizely.com/hc/en-us 
To tylko wierzchołek góry lodowej…
Jakie narzędzia?
Narzędzia darmowe 
Google analytics > zachowanie>eksperymenty
http://visualwebsiteoptimizer.com/ 
https://www.optimizely.com/ 
Narzędzia łٲԱ
http://rich-page.com/website-optimization/which-low-cost-testing-tool-google-content-experiments-vs-optimizely-vs-visual-website- optimizer/
Wady testów a/b
http://www.gv.com/lib/design-instinct-vs-data 
Dane vs Instynkt
http://52weeksofux.com/post/694598769/the-local-maximum 
Optymalizacja vs Innowacja

More Related Content

Jak testować swoje pomysły? Testy A/B (CHI Poznań)