ݺߣ

ݺߣShare a Scribd company logo

AB Test Platform - 우종호

•Download as PPTX, PDF•
•
Jongho Woo
Jongho Woo

A/B Testing and Conversion Optimization Platform - https://plab.skplanet.com - https://www.youtube.com/watch?v=YWfFv9ZYSAk - SK Planet 우종호 2017.05.31 SK Planet @Tech 발표자료 AB Test Platform 개발 사례 공유 PLab(Planet AB Test)

1 of 26
Downloaded 56 times
1/31 A/B Test Platform PLab (Planet A/B Test) SK Planet System Software개발팀 우종호
2/31 Content • 1. What? – A/B Test – A/B Test – 개념 – A/B Test – 사용사례 • 2. So! PLab – Planet A/B Test Platform – PLab 소개 및 특징 – PLab Tech Architecture & Data Flow • 3. PLab 적용사례 & demo
3/31 What is A/B Test?
4/31 Why? • 일반적인 프로세스 문제 인 식 개선안 도출 개선안 적용 개선안 적용이 실적에 끼치는 영향을 알 수 없음
5/31 A/B Test 적용 프로세 스 A/B Test 문제 인 식 개선안 도출 개선안 적용 A/B Test – Data-driven approach to decision and service 개선안 적용문제 인식 개선안 도출 정량적인 수치로 검증 필요 객관적인 데이터 기반 결정 필요
6/31 What is A/B Test? • 전체 디자인에서 • 한가지 요소(UI 레이아웃 / 이미지 / 검색결과 / feature / ..)에 대 해 • 두가지 이상의 버전(variation A, B, ..)를 • 실험하여(Experiment) • 더 나은것(Winner)를 판별하는 기법 Variation A/B Experiment Winner
7/31 • 기존버전(A, control, 대조군) / 새로운 버전(B, variant, 실험군)을 가 지고, • 랜덤하게 방문(random sampling)하는 사용자별로 다른 버전을 보 여준후, • 어떤 버전이 더 나은지(winner), • 데이터 기반의 정량적인 수치(지표, 그래프)로 검증한다. What is A/B Test? A, Control B, Variant Random Sampling
8/31 • “결과”의 “원인”이 우리가 했던 그 개입 때문이 맞는지를 판단. • 통계적 유의미성(statistical significance) – 집단에 대한 가설이 가지는 통계적의미 – P-value What is A/B Test – P-value P-value
9/31 • 국내 최대 웹사이트가 있다. 3개월간의 전면적인 디자인개편! . 고객은 성별에 따라 관심있는 상품이 다를 것이다! [전체/남/여]를 선택하는 탭을 추가하자! . 새디자인 적용후 매출이 20%증가! • But, “매출증가”가 “디자인개편” 덕분일까??? 생각하지도 못한 외부요인이 너무 많다. 정량적인 수치로 분석이 힘들다. • So, A/B Test ! A에게는 기존디자인을 보여주고, B에게는 새 디자인을 보여 준다! 동일한 시간의 흐름에 따라 발생하는 다른 외부 요인들을 통제할 수 있다. 데이터를 기반으로 정량적인 수치를 가지고 분석할 수 있다. Example with or without A/B Test
10/31 So experiment your idea
11/31 A/B Test – Use Case & Solution
12/31 오바마 선거 적용사례 - Optimization • http://kylerush.net/blog/optimization-at-the-obama-campaign-ab-testing/ - A : 오바마에게 포커싱이 맞춰진 이미지 - B : 오바마와 영부인, 게스트들이 사진에 포함. 디너참석으로 기대할수 있는 장면을 사용 - B winner CR +19%
13/31 Google Optimize • Google의 AB Test 플랫폼으로 Google Analytics Suite를 구성하는 하위 솔루 션임 • 2015.10 런칭되었고 2016.03 현재와 같은 구성으로 변경 • PC Web만 지원하며 현재까지 Android, iOS 미지원
14/31 So! PLab – Planet A/B Test Platform
15/31 사용자 실험 참가 방식 Random sampling Audience Targeting 지원 플렛폼 Android iOS PC Web 표준화된 결과지표 CR RBU AOV P-value A/B Test 전체 프 로세스 기능개발 실험 생성 실험 검증 실험 진행 실험 결과 확인 실험 수정 실험 종료 Filtering CTR Average Rank 2 depth analysis AB테스트 전체 프로세스 기능 SK Planet A/B Test Platform - PLab
16/31 A/B Test 전체 프로 세스 기능개발 실험 생성 실험 검증 실험 진행 실험 결과 확인 실험 수정 실험 종료 • 01. (draft) 실험 생성 실험이름, 실험영역, variation정보, meta데이터 • 02. (running) 진행 & result page 실시간 지표 확인 • 03. (winner) winner설정 수정버전 배포전 임시로 winner가 바로 반영 • 04. (stop) 실험 종료 AB테스트 전체 프로세스 기능 SK Planet A/B Test Platform - PLab
17/31 • Visitor(순방문자) • impression(노출수) • QC(검색 쿼리카운트수) • Conversion / CR / CTR • Price 구매액, 매출 – GMV, AOV, RBU • P-value CR, AOV, ..등에 대한 p-value제공 CR RBU AOV P-value CTR Average Rank 2 depth analysis 표준화된 결과지표 SK Planet A/B Test Platform - PLab
18/31 • Velocity: Fast – 5분 내에 최초 분석 결과를 제공 후 1분 단위 Update • Optimizely: 1시간 이후, GA: 12시간 이후 • Statistics: Statistical Hypothesis Test – Price (AOV, RBU)에 대한 P-Value 제공 • Optimizely: Conversion만 지원, GA: 수작업 계산 • Volume: Small – AB 통계 Metrics을 누적하여 실험 결과 Metrics 생성 SK Planet A/B Test Platform - PLab
19/31 Can I use PLab ?
20/31 It is useful to experiment with your idea You Can’t use in this case Can’t – 실험종류 후 추후분석, 사용자 데이터를 이용하여 후분석?! Can’t – PLab을 쓰면 앱개발을 안해도 된다!? Useful – 빠른 의사결정을 위한 근거가 필요! Data-driven approach to decision and service
21/31 So! PLab – Planet A/B Test Platform Experiment Process & Architecture
22/31 1. A/B Test 실험 설계 2. A/B Test 플랫폼에서 실험 생성 4. 사용자가 A 또는 B에 참가하며 실험 진 행5. 다양한 지표와 그래프로 실험 결과 확인 6. Winner 설정으로 실험 종 료 3. 개발 및 배포 후 실험 검증 SK Planet A/B Test Platform - PLab
23/31 SK Planet A/B Test Platform – PLab
24/31 PLab 적용사례 & demo
25/31 A/B Test 11번가 적용 현황 • PLab 도입 전 (2016년도) – 실험 개수: --개 – 테스트를 설정하는데 어려움: 구성원의 AB 테스팅에 대한 이해도 낮고 위너를 설정 하는데 필요한 지표(P-value)가 제공되지 않았음 • PLab 도입 후 (2017.03 ~ - 약3개월) – 실험 개수: --개 – 현재 --개 Running This is PLab
26/31 Sample 테스트 기간: --일 A vs B 장바구니담기: --% 상승 구매횟수: --% 하락 위너: A B

More Related Content

AB Test Platform - 우종호

  • 1. 1/31 A/B Test Platform PLab (Planet A/B Test) SK Planet System Software개발팀 우종호
  • 2. 2/31 Content • 1. What? – A/B Test – A/B Test – 개념 – A/B Test – 사용사례 • 2. So! PLab – Planet A/B Test Platform – PLab 소개 및 특징 – PLab Tech Architecture & Data Flow • 3. PLab 적용사례 & demo
  • 4. 4/31 Why? • 일반적인 프로세스 문제 인 식 개선안 도출 개선안 적용 개선안 적용이 실적에 끼치는 영향을 알 수 없음
  • 5. 5/31 A/B Test 적용 프로세 스 A/B Test 문제 인 식 개선안 도출 개선안 적용 A/B Test – Data-driven approach to decision and service 개선안 적용문제 인식 개선안 도출 정량적인 수치로 검증 필요 객관적인 데이터 기반 결정 필요
  • 6. 6/31 What is A/B Test? • 전체 디자인에서 • 한가지 요소(UI 레이아웃 / 이미지 / 검색결과 / feature / ..)에 대 해 • 두가지 이상의 버전(variation A, B, ..)를 • 실험하여(Experiment) • 더 나은것(Winner)를 판별하는 기법 Variation A/B Experiment Winner
  • 7. 7/31 • 기존버전(A, control, 대조군) / 새로운 버전(B, variant, 실험군)을 가 지고, • 랜덤하게 방문(random sampling)하는 사용자별로 다른 버전을 보 여준후, • 어떤 버전이 더 나은지(winner), • 데이터 기반의 정량적인 수치(지표, 그래프)로 검증한다. What is A/B Test? A, Control B, Variant Random Sampling
  • 8. 8/31 • “결과”의 “원인”이 우리가 했던 그 개입 때문이 맞는지를 판단. • 통계적 유의미성(statistical significance) – 집단에 대한 가설이 가지는 통계적의미 – P-value What is A/B Test – P-value P-value
  • 9. 9/31 • 국내 최대 웹사이트가 있다. 3개월간의 전면적인 디자인개편! . 고객은 성별에 따라 관심있는 상품이 다를 것이다! [전체/남/여]를 선택하는 탭을 추가하자! . 새디자인 적용후 매출이 20%증가! • But, “매출증가”가 “디자인개편” 덕분일까??? 생각하지도 못한 외부요인이 너무 많다. 정량적인 수치로 분석이 힘들다. • So, A/B Test ! A에게는 기존디자인을 보여주고, B에게는 새 디자인을 보여 준다! 동일한 시간의 흐름에 따라 발생하는 다른 외부 요인들을 통제할 수 있다. 데이터를 기반으로 정량적인 수치를 가지고 분석할 수 있다. Example with or without A/B Test
  • 11. 11/31 A/B Test – Use Case & Solution
  • 12. 12/31 오바마 선거 적용사례 - Optimization • http://kylerush.net/blog/optimization-at-the-obama-campaign-ab-testing/ - A : 오바마에게 포커싱이 맞춰진 이미지 - B : 오바마와 영부인, 게스트들이 사진에 포함. 디너참석으로 기대할수 있는 장면을 사용 - B winner CR +19%
  • 13. 13/31 Google Optimize • Google의 AB Test 플랫폼으로 Google Analytics Suite를 구성하는 하위 솔루 션임 • 2015.10 런칭되었고 2016.03 현재와 같은 구성으로 변경 • PC Web만 지원하며 현재까지 Android, iOS 미지원
  • 14. 14/31 So! PLab – Planet A/B Test Platform
  • 15. 15/31 사용자 실험 참가 방식 Random sampling Audience Targeting 지원 플렛폼 Android iOS PC Web 표준화된 결과지표 CR RBU AOV P-value A/B Test 전체 프 로세스 기능개발 실험 생성 실험 검증 실험 진행 실험 결과 확인 실험 수정 실험 종료 Filtering CTR Average Rank 2 depth analysis AB테스트 전체 프로세스 기능 SK Planet A/B Test Platform - PLab
  • 16. 16/31 A/B Test 전체 프로 세스 기능개발 실험 생성 실험 검증 실험 진행 실험 결과 확인 실험 수정 실험 종료 • 01. (draft) 실험 생성 실험이름, 실험영역, variation정보, meta데이터 • 02. (running) 진행 & result page 실시간 지표 확인 • 03. (winner) winner설정 수정버전 배포전 임시로 winner가 바로 반영 • 04. (stop) 실험 종료 AB테스트 전체 프로세스 기능 SK Planet A/B Test Platform - PLab
  • 17. 17/31 • Visitor(순방문자) • impression(노출수) • QC(검색 쿼리카운트수) • Conversion / CR / CTR • Price 구매액, 매출 – GMV, AOV, RBU • P-value CR, AOV, ..등에 대한 p-value제공 CR RBU AOV P-value CTR Average Rank 2 depth analysis 표준화된 결과지표 SK Planet A/B Test Platform - PLab
  • 18. 18/31 • Velocity: Fast – 5분 내에 최초 분석 결과를 제공 후 1분 단위 Update • Optimizely: 1시간 이후, GA: 12시간 이후 • Statistics: Statistical Hypothesis Test – Price (AOV, RBU)에 대한 P-Value 제공 • Optimizely: Conversion만 지원, GA: 수작업 계산 • Volume: Small – AB 통계 Metrics을 누적하여 실험 결과 Metrics 생성 SK Planet A/B Test Platform - PLab
  • 19. 19/31 Can I use PLab ?
  • 20. 20/31 It is useful to experiment with your idea You Can’t use in this case Can’t – 실험종류 후 추후분석, 사용자 데이터를 이용하여 후분석?! Can’t – PLab을 쓰면 앱개발을 안해도 된다!? Useful – 빠른 의사결정을 위한 근거가 필요! Data-driven approach to decision and service
  • 21. 21/31 So! PLab – Planet A/B Test Platform Experiment Process & Architecture
  • 22. 22/31 1. A/B Test 실험 설계 2. A/B Test 플랫폼에서 실험 생성 4. 사용자가 A 또는 B에 참가하며 실험 진 행5. 다양한 지표와 그래프로 실험 결과 확인 6. Winner 설정으로 실험 종 료 3. 개발 및 배포 후 실험 검증 SK Planet A/B Test Platform - PLab
  • 23. 23/31 SK Planet A/B Test Platform – PLab
  • 25. 25/31 A/B Test 11번가 적용 현황 • PLab 도입 전 (2016년도) – 실험 개수: --개 – 테스트를 설정하는데 어려움: 구성원의 AB 테스팅에 대한 이해도 낮고 위너를 설정 하는데 필요한 지표(P-value)가 제공되지 않았음 • PLab 도입 후 (2017.03 ~ - 약3개월) – 실험 개수: --개 – 현재 --개 Running This is PLab
  • 26. 26/31 Sample 테스트 기간: --일 A vs B 장바구니담기: --% 상승 구매횟수: --% 하락 위너: A B