�ݺ�ߣ

리니지 유저 기대이익 예측 모델 개발
: 머신 러닝 기반으로
Team - D&A
김동현, 임필령, 황태용, 임진혁, 곽홍재
1

2
1. 문제 분석
• 파레토 법칙
• 기대이익
2. 예측변수 분석
• 예측변수 분석 – 생존기간
• 예측변수 분석 – 일평균 결제금액
• 예측변수 분포 변형 – 생존기간
• 예측변수 분포 변형 – 일평균 결제금액
0. 목차
3. 모델링
• 전체 모델 파이프라인
• Feature Engineering
• Model
• Ensemble strategy
4. 기대효과 및 의의
• 상위 유저 중점 예측 모델 구축
• 시계열 변화에 강건한 모델 구축

“전체 결과의 80%가
전체 원인의 20%에서 일어나는 현상”
20%
80%
파레토 법칙
Pareto’s law
리니지 유저 수 (기대이익에 따른 내림차순 정렬)
기대이익
상위 20% 유저의 기대이익의 총합
하위 80% 유저의 기대이익의 총합
전체 기대이익의 80% 이상이
리니지 고객의 20%에 의해 발생함
리니지 유저들의 기대이익 (훈련 데이터 기준)
1. 문제 분석: 파레토 법칙
➔ 전체 기대이익에 결정적인 영향을 끼치는 상위 고객을 예측하는 것이 중요함.
3

생존기간
예측치
일별 평균
결제 금액 예측치
잔존가치 전환율 비용 기대이익
비율(%)
(훈련 데이터)
Ƹ𝑡 = 64 ෠𝑅 = 0 - - - - 18.40
Ƹ𝑡 = 64 ෠𝑅 > 0 - - - - 36.59
1 ≤ Ƹ𝑡 < 64 ෠𝑅 = 0 - - - - 22.69
1 ≤ Ƹ𝑡 < 64 ෠𝑅 > 0 ★ ★ ★ ★ 22.32
실제 기대이익이 산출되는 유저는 22.32 % 임.
이탈로 예측되는 유저, 결제를 할 것으로 예측되는 유저들만 기대이익이 산출됨.
1. 문제 분석: 기대이익
즉, 이탈 유저 이면서 결제 유저를 예측하는 것이 리니지 유저 고객관리의 핵심 임.
4

2-1. 예측변수 분석: 생존 기간
5
생존 기간 (survival time)
평균기대이익(score)
생존기간에 따른 평균 기대이익
생존 기간이 1에 가까운 유저들이 대부분의 기대 이익을 차지함.
생존 여부에 따른 유저 비율
54.99 % 45.01 %
잔존 (생존기간: 64) 이탈 (생존 기간: 1 ~ 63)
잔존으로 예측되는 유저는 기대 이익이 없으며 전체 유저의 54.99%를 차지함.
생존기간의 RMSE를 최소화하는 모델은 Major 값인 64에 가깝게 추정(과대 추정) 경향을 가짐.
생존기간이 1에 가까운 유저들에 대한 정확도를 높이기 위해서는 예측변수의 변환이 필요함.

2-1. 예측변수 분석: 일평균 결제 금액
리니지 유저의 일평균 결제금액 (amount spent)
유저비율
리니지 유저 일평균 결제 금액의 커널 밀도 함수
일평균 결제금액이 0에 가까운 유저가 대다수인 불균형적 분포를 띄고 있음.
𝒄𝒐𝒗 𝑹, 𝑺𝒄𝒐𝒓𝒆 = 𝟎. 𝟗𝟗 → 일평균 결제금액과 기대이익은 높은 양의 상관관계를 띄고 있음.
유저 아이디 일평균 결제금액 기대이익 기대이익 누적 합
(기대이익 누적 합
/ 전체 기대이익) * 100
102496 39.412 1170.551 1170.555173 1.276592
30688 35.949 1067.697 2238.253122 2.441009
79872 32.214 956.784 3195.037752 3.484466
65542 31.252 928.199 4123.237721 4.496748
… … … … …
24120 17.816 529.1470 12012.172483 13.100316
51116 16.940 503.1448 12515.317284 13.649039
35301 16.940 503.1282 13018.445519 14.197744
111027 16.638 494.1629 13512.608463 14.736671
일평균 결제금액이 많은 상위 20명의 유저
훈련데이터 전체 40,000명의 유저 중 일평균 결제 금액 상위 20명의 유저들이 전체 기대이익의 약 15%를 차지하고 있음.
일평균 결제금액 상위 유저들을 잘 맞추기 위해서는 과소추정을 방지해야 하며 이를 위해 예측변수의 변환이 필요함.
6

7
2-2. 예측변수 분포 변형: 생존 기간
𝐴𝑣𝑒𝑟𝑎𝑔𝑒 𝑠𝑐𝑜𝑟𝑒 𝑆𝑡𝑑 𝑠𝑐𝑜𝑟𝑒 𝐴𝑣𝑒𝑟𝑎𝑔𝑒 𝑅𝑀𝑆𝐸 𝑆𝑡𝑑 𝑅𝑀𝑆𝐸
𝑦1(𝑏𝑎𝑠𝑒) 13928 1223 17.28 0.1237
𝑈𝑛𝑑𝑒𝑟𝑠𝑎𝑚𝑝𝑙𝑖𝑛𝑔 14450 1012 16.89 0.1176
𝑦1
2
12490 1224 17.08 0.1189
𝑦1 14098 1009 17.12 0.1235
log 𝑦1 12870 1098 17,33 0.1100
1
𝑦1
15098 987 16.75 0.1112
metric
Target
생존기간 예측변수 변환
✓ 성능 비교를 위한 모델은 Light GBM을 사용.
✓ 성능 비교를 할 때는 𝑦2을 정답으로 고정 함.
✓ Undersampling의 경우 가장 성능이 높은 샘플링 개수를 채택 ➔ 387개
✓ 최종 score를 계산할 때 종속변수를 다시 기존의 형태로 변환해줌.
✓ 예측변수를 역수 변환해준 것이 평균 기대이익, 평균 RMSE에서 높은 성능을 보임.
생존기간 예측변수 변환에 따른 평균 기대이익
생존기간 예측변수 변환에 따른 평균 RMSE
𝑦1
2
log 𝑦1 𝑦1 𝑦1 𝑈𝑛𝑑𝑒𝑟𝑠𝑎𝑚𝑝𝑙𝑖𝑛𝑔 1
𝑦1
1
𝑦1
𝑈𝑛𝑑𝑒𝑟𝑠𝑎𝑚𝑝𝑙𝑖𝑛𝑔 𝑦1
2
𝑦1 𝑦1 log 𝑦1
기대이익RMSE

8
2-2. 예측변수 분포 변형: 일평균 결제금액
𝐴𝑣𝑒𝑟𝑎𝑔𝑒 𝑠𝑐𝑜𝑟𝑒 𝑆𝑡𝑑 𝑠𝑐𝑜𝑟𝑒 𝐴𝑣𝑒𝑟𝑎𝑔𝑒 𝑅𝑀𝑆𝐸 𝑆𝑡𝑑 𝑅𝑀𝑆𝐸
𝑦2(𝑏𝑎𝑠𝑒) 14098 980 0.8612 0.060
𝑈𝑛𝑑𝑒𝑟𝑠𝑎𝑚𝑝𝑙𝑖𝑛𝑔 14050 1050 0.8501 0.076
𝑦2
2
15040 921 0.8500 0.051
𝑦2 14690 870 0.8798 0.055
log 𝑦2 14091 1240 0.8815 0.067
1
𝑦2
14098 1100 0.9651 0.068
metric
Target
일평균 결제금액 예측변수 변환
✓ 성능 비교를 위한 모델은 Light GBM을 사용.
✓ 성능 비교를 할 때는 𝑦1을 정답으로 고정 함.
✓ Undersampling의 경우 가장 성능이 높은 샘플링 개수를 채택 ➔ 300개
✓ 최종 score를 계산할 때 종속변수를 다시 기존의 형태로 변환해줌.
✓ 예측변수를 제곱 변환해준 것이 평균 기대이익, 평균 RMSE에서 높은 성능을 보임.
일평균 결제금액 예측변수 변환에 따른 평균 기대이익
일평균 결제금액 예측변수 변환에 따른 평균RMSE
𝑦2
2log 𝑦2 𝑦2 𝑦2
𝑈𝑛𝑑𝑒𝑟𝑠𝑎𝑚𝑝𝑙𝑖𝑛𝑔
1
𝑦2
𝑦2
2 𝑦2 log 𝑦2 𝑦2
1
𝑦2
𝑈𝑛𝑑𝑒𝑟𝑠𝑎𝑚𝑝𝑙𝑖𝑛𝑔
기대이익RMSE

9
예
측
변
수
변
환
생
존
기
간
ෝy1
일
평
균
결
제
금
액
ෞy2
ሖෞy1
ሖෞy2
역수 변환
제곱 변환
생존 일수 생존일수의 역수
일평균 결제금액 일평균 결제금액의 제곱
✓ 생존기간: Major label (survival time = 64)으로 치중되는 학습을 방지하기 위해 역수로 변환.
✓ 일평균 결제금액: Major label (amount spent = 0)으로 치중되는 학습을 방지하기 위해 제곱으로 변환.
2-2. 예측변수 분포 변형

10
FEATURES
Aggregate
(group by)
①
Pivot table
②
PCA
(Dimension reduction)
③
Model
XGBOOST
Light GBM
GBM
파생 변수
④
Ensemble
Final Submission
• Test1 public score➔ 5,217
• Test2 public score ➔ 4,042
• Private avg score ➔ 5,859
Target variable
✓ Survival time ➔ 역수 변환
✓ amount spent ➔ 제곱 변환
+
✓ Survival time ➔ 산술 평균
(XGBOOST + Light GBM + GBM)
✓ Amount spent ➔ 산술 평균
( XGBOOST + Light GBM + GBM)
3-1. 전체 모델 파이프라인
Random Forest
Elastic Net
MLP
최종적으로 XGB, Light GBM, GBM 3가지 모델을 사용, 결과 값을 산술 평균하여 최종 Output으로 채택함.

3-2. Feature Engineering: Aggregate
데이터셋 기준열 통계량 계산 열 통계량 함수
activity acc_id Numeric columns sum, mean, max, min, std, var, coefficient of variation
activity acc_id day, char_id, server unique
trade
source_acc_id
or target_acc_id
Numeric columns sum, mean, max, min, std, var, coefficient of variation
combat acc_id Numeric columns sum, mean, max, min, std, var, coefficient of variation
combat acc_id class unique
pldege acc_id Numeric columns sum, mean, max, min, std, var, coefficient of variation
payment acc_id Numeric columns sum, mean, max, min, std, var, coefficient of variation
✓ 중복된 의미의 변수가 생성 → Column 간의 상관관계가 0.999 이상은 열 집합은 1개만 남기고 제거.
✓ 훈련데이터 교차 검증(fold = 5) 과정에서 평균 기대이익을 기준으로 변수를 선택함.
✓ NA, Inf 값의 경우 의미에 따라서 “0” or “-999”로 치환.
11
* coefficient of variation (변동계수) =
𝜎
𝜇

12
3-2. Feature Engineering: Pivot table
데이터셋 인덱스 열 인스턴스 통계량 함수
activity acc_id day, week Numeric columns sum, mean, max, min, std, var
trade
source_acc_id
or target_acc_id
day, week, item_type Numeric columns sum, mean, max, min, std, var
combat acc_id day, week Numeric columns sum, mean, max, min, std, var
pldege acc_id day, week Numeric columns sum, mean, max, min, std, var
payment acc_id day, week Numeric columns sum, mean, max, min, std, var
✓ 중복된 의미의 변수가 생성 → Column 간의 상관관계가 0.999 이상은 열 집합은 1개만 남기고 제거.
✓ 훈련데이터 교차 검증(fold = 5) 과정에서 평균 기대이익을 기준으로 변수를 선택함.
✓ NA, Inf 값의 경우 의미에 따라서 “0” or “-999”로 치환.

13
3-2. Feature Engineering: PCA
1 2 … 27 28
2
5
7
...
day
acc_id 1 2 … n
2
5
7
...
day
acc_id
Pivot table features Eigen Vector
%*%
(dot product)
✓ 각각의 Pivot table feature에서 전체 데이터를 80%까지 보존할 수 있는 주성분(n)을 찾는다.
✓ Column을 day(날짜)로 Pivoting 할 경우 test1 데이터에 대해서는 높은 성능을 기대할 수 있음.
하지만, 날짜에 의한 변화에 많이 노출되기 때문에 날짜 변화에 따라서 모델의 성능이 크게 차이 날 수 있음.
✓ 시계열에 강건한 변수를 찾기 위해 날짜에 의한 속성을 주성분 분석을 이용해 차원 축소함.
✓ 찾은 주성분의 고유백터(eigen vector)와 기존 pivoting 변수의 행렬 곱을 통해 차원이 축소된 새로운 변수생성

14
3-3. Model: Parameter 탐색 과정
learning rate
max depth, min child weight
subsample, col sample by tree
Regularization parameter (L1, L2)
Reduce learning rate
✓효율적, 효과적인 파라미터 탐색을 위해 왼쪽의 도식대로
파라미터를 튜닝을 진행 함.
✓다음 단계의 파라미터를 튜닝할 때는 이전 단계에서 찾아진
최적의 조합을 유지한 채로 진행 함.
✓생존 기간을 예측하는 모델의 파라미터를 튜닝할 때는
일평균 결제금액을 정답으로 고정시킨 후 파라미터를 탐색 함.
✓일평균 결제금액을 예측하는 모델의 파라미터를 튜닝할 때는
생존 기간을 정답으로 고정시킨 후 파라미터를 탐색 함.
✓RMSE를 최소화 할 수 있는 파라미터를 찾는 것이 아닌,
평균 기대이익을 최대화 할 수 있는 파라미터를 선정함.
* 최종적으로 사용한 모든 모델은 부스팅 모델 임

15
3-3. Model: Optimal parameter
𝑇𝑎𝑟𝑔𝑒𝑡 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 생존기간 (survival time)
𝑋𝑔𝑏𝑜𝑜𝑠𝑡 𝐿𝑖𝑔ℎ𝑡 𝐺𝐵𝑀 𝐺𝐵𝑀
𝑙𝑒𝑎𝑟𝑛𝑖𝑛𝑔 𝑟𝑎𝑡𝑒 0.1 0.01 0.03
𝑀𝑎𝑥 𝑑𝑒𝑝𝑡ℎ 9 9 5
Min 𝑐ℎ𝑖𝑙𝑑 𝑤𝑒𝑖𝑔ℎ𝑡 3 0.01 0.03
𝑔𝑎𝑚𝑚𝑎 0.15 - -
𝑠𝑢𝑏𝑠𝑎𝑚𝑝𝑙𝑒 0.9 1 1
𝑐𝑜𝑙 𝑠𝑎𝑚𝑝𝑙𝑒 𝑏𝑦 𝑡𝑟𝑒𝑒 0.9 0.7 0.85
𝐿1 𝑟𝑒𝑔𝑢𝑙𝑎𝑟𝑖𝑧𝑎𝑡𝑖𝑜𝑛 0.3 0 0.4
𝐿2 𝑟𝑒𝑔𝑢𝑙𝑎𝑟𝑖𝑧𝑎𝑡𝑖𝑜𝑛 0.5 1 0.6
model
parameter
일평균 결제금액 (amount spent)
𝑋𝑔𝑏𝑜𝑜𝑠𝑡 𝐿𝑖𝑔ℎ𝑡 𝐺𝐵𝑀 𝐺𝐵𝑀
0.1 0.01 0.03
9 6 5
3 0.01 0.03
0.15 - -
0.9 1 1
0.9 0.85 0.85
0.3 5 0.4
0.5 0.5 0.6
* 최종 파이프라인에 사용된 모델만 정리

16
3-5. Ensemble Strategy
① Submission.csv 파일을 “변수 + 모델 + Average RMSE score.csv” 형식으로 저장.
② 서브미션 파일의 각 예측 값에 대한 Correlation Matrix를 구함.
③ Correlation Matrix의 행 or 열 평균을 구함 (Correlation matrix는 대칭행렬).
④ 그 값을 해당 연산을 수행한 서브미션 파일의 평균 상관계수로 할당 함.
⑤ 서브미션 파일에서 정규표현식으로 Average RMSE 값을 추출.
⑥ 파일명을 Index로 하고 Average RMSE, 평균상관계수를 열로 갖는 데이터 프레임을 생성.
⑦ X축을 평균상관계수, Y축을 Average RMSE 로 하는 산점도를 그림.
⑧ 산점도를 고려하여 Ensemble을 수행 함.
⑨ Average RMSE 값이 충분히 크면서 서로 다른 예측 값을 갖는 파일을 산술평균 했을 때,
Public 에서 높은 점수를 기록할 수 있었음 (파란 박스로 표시한 것).
생존기간 예측 모델의 평균 RMSE에 따른 예측 값의 상관계수
일평균 결제금액 예측 모델의 평균 RMSE에 따른 예측 값의 상관계수
✓ 생존기간 ➔ XGB, LGBM, GBM (산술 평균)
✓ 일평균 결제금액 ➔ XGB, LGBM, GBM (산술 평균)
Ensemble strategy 개요
최종 Submission 파일

17
3-4. 기대효과 및 의의
20%
80%
파레토 법칙
Pareto’s law
“ Long tail (하위 80%)의
기대이익을 최대화 하기 위한 모델 ”
(각각의 예측변수의 RMSE를 최소화하는 모델은
하위 80% 유저를 맞추는데 치중된 모델이 될 가능성이 높음.)
“Head (상위 20%)의
기대이익을 최대화 하기 위한 모델”
(예측 변수 변환을 통해 전체 기대이익의 대부분을 차지하고 있는
상위 20% 유저를 잘 맞추는 모델 구축)
전체 기대이익의 80% 이상이
리니지 고객의 20%에 의해 발생함
예측변수 변환을 통해 전체 기대이익의 80%를 차지하는 상위 고객의 기대이익을 최대화할 수 있는 모델을 만들 수 있었음

18
3-4. 기대효과 및 의의
서로 다른 두 시점의 Unseen 데이터에 대해서도
동일한 높은 성능을 보이는 모델을 만드는 것이 중요함
✓ 시계열 변화에 강건한 모델을 위해 PCA 변수 사용
✓ 모델 예측 값의 Variance를 줄일 수 있는 앙상블 전략 사용
✓ 기존 Test1 과 Test2 사이의 기대이익의 격차를 상당히 줄일 수 있었음
✓ 기존 격차 : 4,561 → PCA변수, 앙상블을 사용했을 때 줄어든 격차 : 2,034
* 격차 = test1 기대이익 – test2 기대이익

�ݺ�ߣ

Development of a forecasting model for expected profit for lineage users

More Related Content

Development of a forecasting model for expected profit for lineage users