際際滷

際際滷Share a Scribd company logo
A/B Testing Workshop
Emre G端ney & M.Esad Tatl脹p脹nar
GNDEM
1. B旦l端m
 A/B Testing nedir?
 A/B Testing t端rleri
 Hangi durumlarda kullan脹l脹r, ne ie yarar?
 Pop端ler Markalarda A/B Testing
 A/B Testing i巽in neye ihtiyac脹m var?
 Pop端ler A/B Testing yaz脹l脹mlar脹 hangileridir ve
aras脹ndaki farklar nelerdir?
 A/B Testing yaparken dikkat edilmesi gereken
hususlar
 En s脹k yap脹lan A/B Testing hatalar脹
2. B旦l端m
 Google Optimize ile batan sona bir A/B testi
planlamas脹 ve uygulamas脹
 Test sonu巽lar脹n analiz edilmesi
 Yar脹ma & Soru/Cevap
A/B Testing Nedir?
A/B Testing Nedir?
Web siteleri, mobil uygulamalar,
reklamlar (ya da herhangi bir varl脹kta)
kontrol grubu ile iki veya daha fazla
varyasyonun ger巽ek kullan脹c脹larla
ger巽ekletirilen 巽evrimi巽i bir deneydir.
Hangi versiyonun istatistiksel analizlere
dayanarak kullan脹c脹lar脹n脹z i巽in daha iyi
巽al脹t脹脹n脹 g旦rmenizi salar.
Yeni bir ey mi?
1920lerde biyolog Ronald Fisher
bu araziye daha fazla g端bre
koyarsam ne olur? vb sorular soran
zirai deneyler yapt脹. 聴lkeler devam
etti ve 1950'lerin ba脹nda bilim
insanlar脹 t脹p alan脹nda klinik
arat脹rmalara balad脹lar.
1960'larda ve 1970'lerde konsept
pazarlamac脹lar taraf脹ndan dorudan
yan脹t kampanyalar脹n脹 deerlendirmek
i巽in uyarland脹.
A/B testi, mevcut haliyle 1990'l脹
y脹llarda ortaya 巽脹kt脹. Ge巽en y端zy脹l
boyunca testlerin ard脹ndaki
matematik deimedi. imdi online
olarak, ger巽ek zamanl脹 bir ortamda
ve kat脹l脹mc脹 say脹s脹 ve deney say脹s脹
a巽脹s脹ndan farkl脹 bir 旦l巽ekte
yapabiliyoruz.
A/B Testing T端rleri
A/B testlerine balarken gelen soru
1) A/B/n Testing
2) Multivariate Testing (MVT)
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
3) Multipage funnel Testing
4) Redirection Testing
BONUS: Bandit testing ya da multi-armed
bandit testing
A/B Testing
neden kullan脹l脹r,
ne ie yarar?
KARAR VERMEK GRECEL聴D聴R
A / B Testing Workshop
A WEAPON OF MASS(IVE)
MARKETING SUCCESS
 Dijital analiz sisteminizde
toplad脹脹n脹z t端m veriler i巽in en
iyi y旦ntemlerden biridir.
 Tahmini resmin d脹脹na 巽脹kart脹r.
 Ger巽ek veriye dayal脹
aksiyonlar, istatistiksel olarak
anlaml脹 test sonu巽lar脹na g旦re
karar alman脹za zemin haz脹rlar.
Pop端ler Markalarda
A/B Testing
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
Netflixin test yapt脹脹 baz脹 alanlar
Netflixte film posterlerinin testleri
Netflixte film posterlerinin testleri
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A / B Testing Workshop
A/B Testing i巽in
neye ihtiyac脹m var?
1) Yeterli trafie sahip bir web sitesi veya mobil uygulama
D旦rt nemli Soru:
1. Test yapaca脹m sayfan脹n g端nl端k
ziyaret巽i say脹s脹 ne kadar?
2. Testimde artt脹rmay脹/azaltmay脹
hedeflediim ana metriin
d旦n端端m oran脹 u anda ka巽?
3. Yapaca脹m testten tahmini olarak
% ka巽l脹k bir iyileme bekliyorum?
4. Testimde ka巽 varyasyon olacak?
rnek bir referans tablo
2) 聴stenilen d端zeyde test yapabilmek i巽in orta d端zey tasar脹m ve kodlama becerisi
3) Doru bir 旦l巽端mleme altyap脹s脹
Pegasusta toplam 20 hedef, 52 custom dimension ve 5 custom metric tan脹ml脹.
4) Optimizasyon K端lt端r端ne Sahip Bir Organizasyon (3 TEMA OK NEML聴)
Pop端ler A/B Testing yaz脹l脹mlar脹
hangileridir ve aras脹ndaki farklar
nelerdir?
A / B Testing Workshop
A / B Testing Workshop
Yaz脹l脹m
cretsiz S端r端m
Var m脹?
Fiyatland脹rma
Visual Website Optimizer 30 g端n 端cretsiz
Startup: 10.000 kii i巽in ayl脹k $49dan bal脹yor
Business: 30.000 kii, ayl脹k $129
Enterprise: Limitsiz kii, ayl脹k $999
Optimizely 30 g端n 端cretsiz
Pay as you go: Teste girecek her 1.000 kii i巽in $49
Dier paketler i巽in teklif almak gerekiyor
Google Optimize
Her zaman 端cretsiz
versiyon var
Teklif almak gerekiyor.
A / B Testing Workshop
A/B Testing yaparken dikkat
edilmesi gereken hususlar
Segmentasyon
Cihaz/Platform
Kullan脹c脹 Davran脹脹
En s脹k yap脹lan A/B Testing hatalar脹
(Yanl脹 veriler size para kaybettirir, dikkatli olun)
Hipotez
端retmemek veya
yanl脹 hipotez
端retmek
Deer
端retmeyecek
testler yapmak
(旦nceliklendirme
hatas脹)
Yanl脹 hedefler
oluturma
ok fazla/yanl脹
metrik analiz
etmek
Ayn脹 anda/ayn脹
ad脹mda 巽ok fazla
test yapmak
Aceleci
davranma/Erken
test kapatma
Yeniden hipotez
oluturmama
Google Optimize ile batan sona
bir A/B testi planlamas脹 ve
uygulamas脹
A/B testlerinin baar脹s脹n脹 SRE oluturuyor.
1) Web sitesi verilerinizi 旦l巽端n, inceleyin, analiz edin. Sorunlar脹 ve f脹rsatlar脹
belirleyin.
2) M端mk端nse bulgular脹n脹z脹 kalitatif arat脹rma y旦ntemleriyle destekleyin.
3) Veriye dayal脹 olarak bir hipotez 端retin
Based on the insight ............. we predict that
[product change] will cause [impact]
Based on the insight that users hesitate on date change on their travel
before purchase we predict that emphasizing Flex by changing copywriting of
headlines and service description and showing price in advance on purchase
page throughout desktop conversion funnel will cause an increase in flex
conversion.
Ger巽ek bir 旦rnek: Netflix
4) Test fikirlerinizi 旦nceliklendirin (ICE - Impact, Confidence, Ease)
5) En y端ksek 旦ncelikli hipotezinizi test edin
6) Testi yay脹na haz脹r hale getirin
(Uygulamal脹 g旦sterim)
7) Testi zaman脹 geldiinde
durdurun
Testimi ne
zaman sona
erdirmeliyim?
 En az 1 hafta yay脹nda kalmal脹.
(M端mk端nse 2)
 Kulland脹脹n脹z yaz脹l脹mda
alternatif varyasyonun
significance deeri %90 ve
端zeri olmal脹.
 Test edilen her bir varyasyon
yeteri kadar trafik ve d旦n端端m
almal脹.
A / B Testing Workshop
A / B Testing Workshop
Test sonu巽lar脹
nas脹l analiz edilir?
Original
Winner
Combination
A / B Testing Workshop
rnek Test Sonucu (Inconclusive)
6) Test sonu巽lar脹n脹z脹 analytics hesab脹n脹zda analiz edin (validity)
6) Test sonu巽lar脹n脹z脹 analytics hesab脹n脹zda analiz edin (validity)
7) Test sonu巽lar脹n脹z脹 kendi rakamlar脹n脹zla kar脹lat脹r脹n ve baar脹n脹n ger巽ek
olduundan emin olun (validity)
8) Test baar脹l脹 sonu巽land脹ysa sitenizde herkese g旦sterecek
ekilde yay脹na al脹n.
9) Test nas脹l sonu巽lan脹rsa sonu巽lans脹n, tekrar testleri yap脹n
Soru/Cevap
A / B Testing Workshop
意艶艶一一端姻鉛艶姻

More Related Content

A / B Testing Workshop