[Data Science Meetup] Pavel Borobov: Blend them all
Download as PPTX, PDF
0 likes54 views
舒从舒亢 仂 仄亠仂亟舒 仍亠仆亳 仂仆仂亳 亠舒亠仄 亰舒亟舒 仄舒亳仆仆仂亞仂 仂弍亠仆亳 亰舒 从仂仄弍亳仆亳仂于舒仆亳 亠亰仍舒仂于 仆亠从仂仍从亳 舒亰仍亳仆 仄仂亟亠仍亠亶. 丐舒从亢亠, 仗仂 仗仂亟于仂亟仆亠 从舒仄仆亳 亳仗仂仍亰仂于舒仆亳 亳 仄仂亟亠仍亠亶
[Data Science Meetup] Pavel Borobov: Blend them all
- 2. 仍舒仆 丼仂 舒从仂亠 从仂仄仗仂亰亳亳仂仆仆仂亠 仂弍亠仆亳亠? 舒亰仍亳仆亠 于亳亟 舒仆舒仄弍仍亠亶 Blending Blending baking
- 3. 丼仂 舒从仂亠 从仂仄仗仂亰亳亳仂仆仆仂亠 仂弍亠仆亳亠? 亅仂 舒仍亞仂亳仄 亳 仄亠仂亟 亳仍亳亰亳ﾑ亳亠 仄仆仂亢亠于仂 ML 仄仂亟亠仍亠亶, 亠仍 仗仂于亳 仂仆仂 亠舒亠仄仂亶 亰舒亟舒亳. 舒亳弍仂仍亠亠 亳亰于亠仆亠 仗仂亟仂亟: Boosting Bagging Stacked generalization Blending
- 4. Boosting 弌仗仂仂弍 从仂仄仗仂亰亳亳亳 仍舒弍仂亶 仄仂亟亠仍亳 亠仍 仗仂仍亳 亳仍仆 仄仂亟亠仍. 仂亟亠仍亳 仂弍舒ﾑ 仗仂仍亠亟仂于舒亠仍仆仂, 仂弍舒舒 于仆亳仄舒仆亳 仆舒 仂亳弍从亳 仗亠亟亟亳 仄仂亟亠仍亠亶. 丕仂亶亳于 从 于弍仂舒仄 仂亟亠仍亳 仆亠 仂弍舒ﾑ 仗舒舒仍仍亠仍仆仂 亟亳仆 亳 仂 亢亠 仆舒弍仂 亳 亳 亟舒仆仆
- 5. Bagging Bootstrap aggregation - 仄亠仂亟 仂弍亠仆亳 仆亠从仂仍从亳 仄仂亟亠仍亠亶 仆舒 仆亠亰舒于亳亳仄 仆舒弍仂舒 亟舒仆仆 亳亰 仂弍舒ﾑ亠亶 于弍仂从亳. 仂亟亠仍亳 仂弍舒ﾑ 仆亠亰舒于亳亳仄仂 亟亞 仂 亟亞舒 仂亟亠仍亳 仄仂亞 亳仍亳亰亳仂于舒 舒亰仍亳仆亠 亳亳 于仂亰仄仂亢仆仂 仗仂于仂亟亳 仂弍亠仆亳亠 仗舒舒仍仍亠仍仆仂
- 6. Stacking 0) 弍亠仆亳亠 弍舒亰仂于 仄仂亟亠仍亠亶 (generalizators) 1) 弍亠仆亳亠 仄亠舒 舒仍亞仂亳仄舒 仆舒 于仂亟舒 (stackers) 2) 仂仍亠仆亳亠 亠亰仍舒舒 仗.2 仄仂亢仆仂 仂弍舒 仆亠从仂仍从仂 仄亠舒 舒仍亞仂亳仄仂于 亳 亟仂弍舒于仍 亠亠 仆亠从仂仍从仂 舒从亳 仂于仆亠亶 (stack). 亳 仂弍亠仆亳亳 亳仗仂仍亰亠 从仂 于舒仍亳亟舒亳. 弍亠仆亳亠 仍亠亟ﾑ亳 仂于仆亠亶 仗仂亳亰于仂亟亳 仆舒 Out of Fold 亟舒仆仆.
- 7. Stacking
- 8. Blending 仂仆亳亠 仗仂磦亳仍仂 仗仂仍亠 Netflix BigChaos Competition. Netflix 舒从 亳 仆亠 亠舒仍亳亰仂于舒仍 仂仗仂于 仄仂亟亠仍 亳亰-亰舒 亠亠 仍仂亢仆仂亳. 丐仂亢亠 舒仄仂亠 仂 亳 Stacking, 仆仂 于仄亠仂 OOF 仂弍亠仆亳亠 仂于仆亠亶, 于亠亞亟舒 于亟亠仍磳 仆亠从仂仂舒 仗仂亳 亟舒仆仆 (holdout), 仆舒 从仂仂 仗仂亳亰于仂亟亳 仂弍亠仆亳亠 仄亠舒 舒仍亞仂亳仄舒.
- 9. Blending 仍ﾑ: 仂亠, 亠仄 Stacking (holdout vs oof) 亠于仂亰仄仂亢亠仆 仄亠亠仆亳亠 亟舒仆仆 仗亳 仂弍亠仆亳亳 stackers 亳 generalizers 亳 从仂 于舒仍亳亟舒亳亳 仆亠 仆亠仂弍仂亟亳仄仂亳 亳仗仂仍亰仂于舒 仂亟亳仆 亳 仂 亢亠 seed. 亳仆: 仂于亠亳 仆舒 holdout 仄亠仆亠 亟舒仆仆 仗亳 仂弍亠仆亳亳 stackers
- 10. Blending baking 亠 亳仗仂仍亰仂于舒 仂仍从仂 diverse 仄仂亟亠仍亳 CV 于亠亞仂 仗舒亶仗仍舒亶仆舒 (舒亰仍亳仆亠 holdout) rule of thumb Pearson correlation < 0.95 Kolmogorov-Smirnov statistic > 0.05
- 11. Blending baking