![歌深
- GBDTとは -
? PAC Learning
? Boostingとは樋僥匂をたくさん鹿めて僥匂を恬ろう
? C亠僥
? PAC Learningをp払v方を恷弌晒する}として壅協x、
p払を恷弌晒する圭鬚鯡修垢里帽甘簀鵑鯤垢辰討い襪里如
Gradient Boosting
? ポイント
? negative gradientを恷弌屈\除貌し、樋僥匂を容協
? しくは
? [Quasi_quant2010c] を歌孚
デ`タサイエンスLT疾り 2匚朕 @Quasi_quant20104](https://image.slidesharecdn.com/quasiquant2010ltf-160913104454/85/GBDT-feature-transformation-4-320.jpg)
![念I尖(イメ`ジ)
- 掲侘來のOをGBDTでI尖 -
? 2つのQ協直のアンサンブル箭
? 匯つは3つのleaf node(A)
? 匯つは2つのleaf node(B)
? デ`タ箭
? Aの2桑朕のleaf nodeに欺_
? Bの1桑朕のleaf nodeに欺_
? 掲侘Q瘁のfeatureは
[0,1,0,1,0] となる
デ`タサイエンスLT疾り 2匚朕 @Quasi_quant20105
哈喘 [H.Xinran, etc]
Figure1
Input Features
Transoformed
Features
侘モデル
で嚠y
GBDTの圻尖がp払を恷弌晒するように直を弖紗するという泣で功
をもち、Q協直が}方and訳周の秤鵑瞋个垢觀脳侘Qが辛嬬
A B](https://image.slidesharecdn.com/quasiquant2010ltf-160913104454/85/GBDT-feature-transformation-5-320.jpg)
![gYY惚
- FeatureImportanceと屎t晒path -
デ`タサイエンスLT疾り 2匚朕 @Quasi_quant20106
? Featuregのand訳周を深]辛
? age * hours-parweek吉
? Blendingはp払v方と屎t晒v
方のMみ栽わせを曳^
? p払v方 : Logistic-Loss or
Hinge Loss
? 屎t晒v方 : L1 or L2
Ridge指｢でBlending](https://image.slidesharecdn.com/quasiquant2010ltf-160913104454/85/GBDT-feature-transformation-6-320.jpg)
![歌深猟
? **[H.Xinran, etc] Practical Lessons from Predicting Clicks on
Ads at Facebook. ADKDD14
? [C.Zhicheng, etc] Optimal Action Extraction for Random
Forests and Boosted Trees. KDD15
? [Quasi_quant2010a] Gradient Boostingについて - Scikit-Learnを
聞ったfeature transformation(GBDT + LR vs LR) -
goo.gl/Pkto81
? [Quasi_quant2010b] Stacking - テンプレ`ト晒?麻｢ -
goo.gl/jXSrw8
? [Quasi_quant2010c] Gradient Boostingについて - 箴 -
goo.gl/tng0vl
? [Quasi_quant2010d] Gradient Boostingについて - 屎t晒?
Xgboost C goo.gl/dBQqYc
デ`タサイエンスLT疾り 2匚朕 @Quasi_quant20109](https://image.slidesharecdn.com/quasiquant2010ltf-160913104454/85/GBDT-feature-transformation-9-320.jpg)
![[DLi氏]NVAE: A Deep Hierarchical Variational Autoencoder](https://cdn.slidesharecdn.com/ss_thumbnails/nvaeadeephierarchicalvariationalautoencoder-201113004930-thumbnail.jpg?width=560&fit=bounds)
![[DLi氏]Deep Learning 及15嫗 燕F僥](https://cdn.slidesharecdn.com/ss_thumbnails/deeplearning15-180601023904-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Viewers also liked (8)
Similar to GBDTを聞ったfeature transformationのm喘箭 (15)
More from Takanori Nakai (18)
GBDTを聞ったfeature transformationのm喘箭
- 1. GBDTを聞った feature transformationのm喘箭 毅輝 @Quasi_quant2010 デ`タサイエンスLT疾り 2匚朕 @Quasi_quant20101 ‐デ`タサイエンスLT疾り 2匚朕／
- 2. 古勣 - 蒙翮燭力珸v(掲侘來)をGDBTで渇竃 - デ`タサイエンスLT疾り 2匚朕 @Quasi_quant20102 ? ケ`ス ? 嚠yラベル債Г互い?詰い ? feature債襠h?縮圄定方?誘Yp払?Prg/L, etc ? 箭えば、(Prg/L, 誘Y旋吩)の屈つをMみ栽わせたr、 Prgは玉いが、誘Y旋吩が互い繁は互いA鬚砲△襪呂 ? ドメイン岑Rより、Featureをand訳周のMみ栽わせで 掲侘featureは恬れる ? ただし、Qyしたfeatureが謹い栽、Mみ栽わせは峺方卯k ? そもそも、繁gがゼロから掲侘featureをOするのは寄 ? 掲侘來のOをGBDTでI尖した瘁、侘モデルで嚠y 念I尖 蛍匂
- 3. gYY惚 - Stacking+Blending P GBDT+LR > LR - ? GBDTのMax_Depthは8 ? 鏡羨にえるfeatureに掲侘來があった デ`タサイエンスLT疾り 2匚朕 @Quasi_quant20103 Model accuracy precision recall f-value LR 8.35e-01 9.22e-01 8.67e-01 8.94e-01 GDBT+LR **8.63e-01 **9.31e-01 8.91e-01 9.11e-01 Stacking+ Blending 8.62e-01 9.30e-01 **8.92e-01 **9.11e-01 廣1) 麻デ`タ : Adult Data Set (goo.gl/GzB8bS) age workclass sex education education- num 39 State-gov male Bachelors 13 50 Self-emp- not-inc female Bachelors 13 廣2) 5-Fold 廣3) ** : Best Score 廣4) カテゴリカル篳は 畠てOne-hot-encoding デ`タセット箭 嚠yY惚
- 4. 歌深 - GBDTとは - ? PAC Learning ? Boostingとは樋僥匂をたくさん鹿めて僥匂を恬ろう ? C亠僥 ? PAC Learningをp払v方を恷弌晒する}として壅協x、 p払を恷弌晒する圭鬚鯡修垢里帽甘簀鵑鯤垢辰討い襪里如 Gradient Boosting ? ポイント ? negative gradientを恷弌屈\除貌し、樋僥匂を容協 ? しくは ? [Quasi_quant2010c] を歌孚 デ`タサイエンスLT疾り 2匚朕 @Quasi_quant20104
- 5. 念I尖(イメ`ジ) - 掲侘來のOをGBDTでI尖 - ? 2つのQ協直のアンサンブル箭 ? 匯つは3つのleaf node(A) ? 匯つは2つのleaf node(B) ? デ`タ箭 ? Aの2桑朕のleaf nodeに欺_ ? Bの1桑朕のleaf nodeに欺_ ? 掲侘Q瘁のfeatureは [0,1,0,1,0] となる デ`タサイエンスLT疾り 2匚朕 @Quasi_quant20105 哈喘 [H.Xinran, etc] Figure1 Input Features Transoformed Features 侘モデル で嚠y GBDTの圻尖がp払を恷弌晒するように直を弖紗するという泣で功 をもち、Q協直が}方and訳周の秤鵑瞋个垢觀脳侘Qが辛嬬 A B
- 6. gYY惚 - FeatureImportanceと屎t晒path - デ`タサイエンスLT疾り 2匚朕 @Quasi_quant20106 ? Featuregのand訳周を深]辛 ? age * hours-parweek吉 ? Blendingはp払v方と屎t晒v 方のMみ栽わせを曳^ ? p払v方 : Logistic-Loss or Hinge Loss ? 屎t晒v方 : L1 or L2 Ridge指｢でBlending
- 7. 深賀 - サンプルデ`タの尅り卦り - ? モデルの尅り卦り ? GBDTがfeaturegの珸vをうまくI尖したか ? 恬ったtreeにvし、max_depthが8なので、うまくI尖できた ? ただし、g佞任Hyper-paramsを般塚く{屁する駅勣あり ? g佞鯱覿┐靴腎颪蠏気 ? 仏貨g悶が嗤燭覆里、}栽勣咀なのか ? 書指のデ`タでは、仏貨}栽も嗤燭世辰 ? 何Tg悶により森という鷂罎あった栽 それは、`りであることがモデル貧_Jできる ? Q麻貧並gかは、掲侘featureを児にб罎鰈頚Eすればよい ? モデルではビジネスサイドが{誼できないので、 深賀をビジネスサイドの返乾り湖に除づけることも嶷勣 デ`タサイエンスLT疾り 2匚朕 @Quasi_quant20107
- 8. 深賀(g佞箸いσ泣で) - 仏貨への幣又を誼られることが恷も嶷勣 - ? α,βなど、仏貨g悶をuするのではなく、仏貨のMみ栽わ せをuできるMみなので、より人Q議な尅り卦りが辛嬬 ? 仏貨g悶しかuできないとPDCAを指し俳るのにrgがかかる ? Qyした蒙翮燭鬟皀妊襪之脳侘Qしているものの、 Lれ篳を秘していないため、g悶仏貨(feature) や} 栽仏貨(掲侘feature)にvする尅り卦りが辛嬬 ? g悶仏貨 ? GBDTのfeature importance ? }栽仏貨 ? 掲侘Qしたfeatureのweight(侘モデルのfeature weight) ? featureの芦協來も紗龍する並も辛嬬で、隔A森もわかる デ`タサイエンスLT疾り 2匚朕 @Quasi_quant20108
- 9. 歌深猟 ? **[H.Xinran, etc] Practical Lessons from Predicting Clicks on Ads at Facebook. ADKDD14 ? [C.Zhicheng, etc] Optimal Action Extraction for Random Forests and Boosted Trees. KDD15 ? [Quasi_quant2010a] Gradient Boostingについて - Scikit-Learnを 聞ったfeature transformation(GBDT + LR vs LR) - goo.gl/Pkto81 ? [Quasi_quant2010b] Stacking - テンプレ`ト晒?麻｢ - goo.gl/jXSrw8 ? [Quasi_quant2010c] Gradient Boostingについて - 箴 - goo.gl/tng0vl ? [Quasi_quant2010d] Gradient Boostingについて - 屎t晒? Xgboost C goo.gl/dBQqYc デ`タサイエンスLT疾り 2匚朕 @Quasi_quant20109