ºÝºÝߣ

ºÝºÝߣShare a Scribd company logo

Ensemble Model (Hybrid model)

?Download as PPTX, PDF?
?
Jeonghun Yoon
Jeonghun Yoon

???? ?? ? ??? ??? ?? ???? ??? ??? ?? ????.

1 of 25
Downloaded 30 times
Jeonghun Yoon
?? ?? ¡ð ?? ????? ???? ?? ¡ð ?? ????? ???? ?? ?? ?? ?????? ??? ??? ???? ?? ?? ??? ?? ?? ¡ð ?? ??? ??? ???? ? ??? ?? ?? ???? ? ? ?? ????? ? ? ??? ¡ð ?? ?? ??? ???? ????? ??? ????? ??? ?? ??
Resampling ¡ð ?? ?? ¡ð Bootstrap(????) Ensemble(???) ¡ð Bagging ¡ð Random forest ¡ð Adaboost
1. No free lunch 2. bias-variance dilemma ???? ??? ?? ??
?? ??? ?? ?? ?? ????? ???? ????? ??? ¡ð ??. ¡ð ????? ?? ? No free lunch(NFL) ?? ? ?? ?? ??? ?? ?? ?? ??? ?? ? ???, ??? ? ??? ? ?? ??? ??? ??? ?? ??? ?? ? ???? ??? ????. ? No free lunch theorems for optimization. (David H. Wolpert) ? ?? ????? ¢Ù, ¢Ú, ¢Û? ??. ??? ?? : ?? ?? ?? ?? ?? : ?? ??? ?? ?? ?? ¢Ù ¢Ú ¢Û ?? ?? ?
?(?) ?(?; ?1) ?(?) ?(?; ?1) sample set : ?1 ?(?) ?(?; ?2) ?(?) ?(?; ?2) sample set : ?2 ?(?) ?(?; ?3) ?(?) ?(?; ?3) sample set : ?3 bias = ???? ?? - ? ?(???? ?? ?) bias? variance?
bias-variance-dilemma ¡ð ???? ?? ?(?)??? ?? ¡ð ?? ???? ??? ?(?)? ?? ? ?(?; ?)? ???? ¡ð ?? ?(?; ?)? ?(?)? ??? ??? ?? ???? ??(MSE) : ? ? ? ?; ? ? ? ? 2 = ? ? ? ?; ? ? ? ? 2 + ? ? ? ?; ? ? ? ? ? ?; ? 2 ¡ð bias : ?? ?(?)? ? ?? ?(?)?? ?? ¡ð ?? : ?? ?? ?? ???? ??? ?(?)?? ??. ?(?)? ?? ??? ??? ?? ??? ???. ¡ð ??? ??? ?, ?? ??? ???? MSE? ??. ?? ??? ??? ?? ???. ¡ð ?? ??? ?? ?? ??? ??? ?? ?? ? MSE ?? ????2 ?? Go to Appendix
Resampling? ??? ¡ð ?? ????? ??? ?? ??? ? sample ?? ??? ??? ? bias-variance dilemma? ???, ??? ? sample? ?? ???? ?? ?? ??? ?? ? ? ?? ? ?? ??? ??? ?? ??? ???(? sample? ???) Resampling ¡ð ???? ?? ??? ?? ?, ?? ??? ?? ? ???? ?. ¡ð ?? ??? ???? ???? ???? ??
?? ?? ¡ð Resampling? ????, ???? ??? ???? ?? ? ??(no replacement) ?? : ??? ?, ?? ?? ? = { ?1, ?1 , ?2, ?2 , ¡­ , (? ?, ? ?)}, ?(2 ¡Ü ? ¡Ü ?) ?? : ?? ? ???? : ?? ??? ?? ???? ???? ??? ?1, ?2,¡­, ? ?? ??. for (? = 1 to ?) { ?¡ä = ?=1,?¡Ù? ? ?? ? ?? ?? ??? ?? ??? ??(??) } return ? = 1 ? ?=1 ? ?? ?1 ?? ? ? ? = ?=1 ? ?? , ??s are mutually disjoint.
Bootstrap ¡ð statistical term for ¡°roll n-face dice n times¡± ¡ð Resampling? ????, ???? ??? ???? ?? ? ??(replacement) ¡ð sample? ? ? ?? ??? ??, ? ?? ? ??? ?? ?? ?? : ??? ?, ?? ?? ? = { ?1, ?1 , ?2, ?2 , ¡­ , (? ?, ? ?)}, ???? ? ?? : ?? ? ???? : for (? = 1 to ?) { ??? ??? ??? ??? ?? ??? ??. (replacement) ??? ??? ?? ??. ? ? ??? ?? ??? ???? ??? ??. } return ? = 1 ? ?=1 ? ?? ? ?? ??? ????? ?
?? ¡ð ??? ??? ??? ?? ? ? ?? ????? ?? ??? ?? ?? ?????? ??? ???? ?? ? ? ?? ?? ??? ?? ??? ???? ??? ?? ??? ??? ??. ? ? ?? ????? ??? ??? ???? ??? ?? ?? ?? ????? ??. ¡ð ???? ??? ?? ??? ? ? ?? ??? ??? ?? ??? ??. Ensemble ¡ð ?? ?? ?? ?? ??? ???? ?? ¡ð ??? ???, ?? (type 1) ? ?? ??? ?? ?? ?? ?? ????? ?? ???, ?? ????? ? ?? ???? ?? ?? ??? ?? ? ?? ??? ??(?? ?? ???? ??? ??? ??? ??) (type 2) ? ?? ??(operation sharing) ??. ? ?? ???? ? ? ??? ????? ??.
???(diversity) ¡ð ???? ??? ???? ?? ?? ?? ??? ?????, ??? ?? ?? ?? ? ?? ??. ¡ð ?? ???? ??? ??? ?? ???? ??? ?? ??? ???? ???? ????? ??. ??? ?? ??? ?? ??? ?? ??? ??? ???(Classifier Ensemble System)
??? ??(??? ??? ???) ¡ð resamplig? ??? ??? ?? ???? ????, ????? ?? ?? ? Bagging ? Boosting ¡ð ?? ??? ?? ??? ????, ?? ?? ??? ?? ? ???? ?? ? Random forest ¡ð ???? ???? ??? : ?? ???(component classifier), ?? ???(base) ? ?1 ? ? ¡­. classifer ?1 learning classifer ? ? learning??? ?? idea(Bagging) {?1, ¡­ , ? ?} resampling
Bagging ¡ð ????? ?? ??? ?? ???? ?? : Boostrap aggregating ¡ð boostraped? ?? ???? ?? ?, ?? ?? ???, ????? ???? ?? ¡ð bias¡ý variance¡ü? ???? ?? ? variance¡ý (How? average) ? ?? ???? ?? ????? ??? ???? ? ??? ?? ? ?? ??? ???? ??? ? ??? ?? ? ??? ?? but ??¡ü ?? : ?? ?? ? = { ?1, ?1 , ?2, ?2 , ¡­ , (? ?, ? ?)}, ??? ?? ?(0 < ? ¡Ü 1) ?? : ??? ???(Classifier Ensemble) ???? : ? = 0, ? = ? repeat { ? = ? + 1 ??? ??? ???? ??? ?? ??? ??.(replacement) ??? ??? ??? ????. ? = ? ¡È {??} } until (?? ??) return ? ??? ?? ??
Random forest ¡ð tree ??? bagging? subspace sampling? ??? ?? ¡ð tree? correlation? ??(de-correlated trees' collection) - using randomness ¡ð ?? ? : (Regression) collection? tree? sample? ????? ?? ????? ?? ? ??? ???? ??? ??? / (Classification) majority vote ?? : ?? ?? ? = { ?1, ?1 , ?2, ?2 , ¡­ , (? ?, ? ?)}, ??? ?? ?(0 < ? ¡Ü 1) ?? : ??? ???(Classifier Ensemble) ???? : ? = 0, ? = ? repeat { ? = ? + 1 ??? ??? ???? ??? ?? ??? ??.(replacement) ???? split? ?, sample? ? feature ? random?? ? feature? ????. ??? feature?? ??? ?? ?? ??? ??? ?? ????. ? = ? ¡È {??} } until (?? ??) return ? (???? ???? ??) ? ¡Ü ?
Boosting ¡ð weak learner? (reweighted) training data ??? ?? ? ?? ?? ?, ?? ? classifiers? (weighted) majority vote? ?? ¡ð ??? ??? ?, ??? ??? ??? ? + 1?? ??? ??+1? ???? ??? ?? ¢Ù ?? ??? ??? ?? ???? ?? ??? ???? ??? ?? ¢Ú ?? ???? ??? ?? ??? ????? ???? ?? ¢Û ??? ???? ??? ?? "????" ????? ???? ?? ¢Ü ??+1? ?? ??? ?? sample ??? resampling ????, ???? ?? ??? ?? ??? ???? ?? ?? ¡ð resampling ?, replacement? ???? ??. ? ? ? ?? ??? ?? ???? ??. ¡ð Adaboost ????
?? : ?? ?? ? = ?1, ?1 , ?2, ?2 , ¡­ , ? ?, ? ? ?? : ??? ???(Classifier Ensemble) {?1, ¡­ }, ??? ??? {?1, ¡­} ???? : ? = 1, ? = ? for (?=1 to N) ?? ? = 1 ? repeat { ? ?? ???? ??? ??? ??(???? ? ??? ???? ??) ? ? = ?? ??? ??? ?? ???? ??? ??? ?? ??( if (?? ?? ¡Ù ??) ) if (? ? < 0.5) { ??? ??? ? ? = ? ? ??( ??? ? ? ? ) for (?=1 to N) { if ( ?? ?? ¡Ù ?? ) ? ?+? ? = ? ? ? ? ? ? ? else ? ?+? ? = ? ? ? ? ??? ? } ??? ?? ? ?+1? ??? ? = ? ¡È {??} } ? = ? + 1 } until (?? ??) return ?
? ?? ???? ??? ??? ??(???? ? ??? ???? ??) ??? ???? ??? ?? ??? ??. ? ? ??? ?? ??? ??(?)? ??? ??. replacement? ???? ???. ??? ??? ?????. ?? 1 ?? 2 ? ??? ????. ? ? = ?=1, ? ? ? ? ¡Ù? ? ? ??(?) ? ??? ??? ??? ?????.
??? ?? ¡ð ?? ???? ??? ???? ??? ?? ??? ??? ?? ¡ð 1?? ???? ?? ? ?? ??(class label) ? ?? ??(class ranking) ? ?? ??(class probability)
Class label(?? ??) ¡ð ??? ??, ?? ?? : ?1, ¡­ , ? ? where ?? = ??1, ¡­ , ??? ? ¡ð Majority vote(?? ??) ? = arg max ?=1,¡­,? ?=1 ? ? ?? ¡ð Weighted majority vote(?? ?? ??) ? = arg max ?=1,¡­,? ?=1 ? ? ? ? ?? ? Adaboost?? ??? ? ?? ?? ¡ð Behavior knowledge space(BKS/??????) ? ???? ???? ??? ??? ?????? ???? ?
?? ????(?1, ?2, ?3) ?? : ?1, ?2, ?1 ??? ?1?? ???? ???? ??? ?? ?2? ?2? 99.999%? ??? ?????? ?1, ?2 ¡ú (?2, ?2, ?2) ?2, ?2 ¡ú (?1, ?2, ?1) ¡­ (?7, ?2) ¡ú (?1, ?2, ?1) (?8, ?2) ¡ú (?1, ?2, ?1) (?9, ?1) ¡ú (?1, ?2, ?1) (?10, ?2) ¡ú (?1, ?2, ?1) (?11, ?3) ¡ú (?3, ?3, ?3) ¡­ (?20, ?2) ¡ú (?1, ?2, ?1) (?21, ?2) ¡ú (?1, ?2, ?1) (?22, ?1) ¡ú (?1, ?2, ?1) (?23, ?3) ¡ú (?1, ?2, ?1) ¡­ BKS ? ?? ??? ?? ?1 / ?2 / ?3 ?1, ?1, ?1 ?1, ?1, ?2 ?1, ?1, ?3 ?1, ?2, ?1 2 / 6 / 1 ¡­ ?? ??? ? ?? ?? input sample? ?? ???(?1, ?2, ?1) ?? ?2? ???? ??? ?? ? ??
Borda ?? ¡ð ?? ?????? ranking vector ?1, ¡­ , ? ?? ???. ? ? ? = (??1, ¡­ , ???) ¡ð ??? score vector ?1, ¡­ , ? ?? ????. ? ? ? = (??1, ¡­ , ???) ? ????, ??? = ? ? ??? ?? s ?? = 1 ? ?? ? ??. for ? = 1, ¡­ , ? ¡ð ??? ?? ??? ?? ?? ? ?? ? ?? ?? ?? ? ?? ?? ?? ? = arg max ?=1,¡­,? ?=1 ? ???
?? ???? ????, ??, ??, ??? ?? ?? ??? ?? ¡ð MLP? SVM? ?? ?? ?? ?? ?? (Bayesian classifier : ??? ?? ??) ? ?? ?? ? = ?1, ¡­ , ? ? ? ¡ð ??? ??? ???, ?? ??? ???? ??? ??? ?? ???? ?? ?? ¡ð ???? ??? ? ? ????, ??? ??? ??, ??? ?? ¡ð Softmax ?? = ??????? ?? = ? ? ? ?=1 ? ? ? ? where 0 ¡Ü ?? ¡Ü 1, ?=1 ? ?? = 1
1. ???? - ??? 2. ???? ? ?? - ?? ??? 3. The Elements of Statistical Learning - Trevor Hastie, Robert Tibshirani, Jerome Friedman 4. Machine learning : The art and Science of Algorithms that Make Sense of Data - Peter Flach
MSE ¡ð ??? ??? ?? ?? ?? ??? ?? ?? ?? : ? ?; ?? ? ? ? 2 ¡ð ??? ??? ?? ?? ?? ?? ?? : ? ? ? ?; ? ? ? ? 2 ? ? ? ? ?; ? ? ? ? 2 = ? ? ? ?; ? ? ? ? 2 + ? ? ? ?; ? ? ? ? ? ?; ? 2 ? ? ? ? 2 = ? ? ? ? ? + ? ? ? ? 2 = ? ? ? ? ? 2 + 2 ? ? ? ? ? ? ? ? + ? ? ? ? 2 = ? ? ? ? ? 2 + 2? ? ? ? ? ? ? ? ? + ? ? ? ? ? 2 = ? ? ? ? ? 2 + ? ? ? ? 2 + 2 ? ? ? ? ? ? ? ? ? = ? ? ? ? ? 2 + ? ? ? ? 2 ?? ????2 ??????2 Go back

More Related Content

Ensemble Model (Hybrid model)

  • 2. ?? ?? ¡ð ?? ????? ???? ?? ¡ð ?? ????? ???? ?? ?? ?? ?????? ??? ??? ???? ?? ?? ??? ?? ?? ¡ð ?? ??? ??? ???? ? ??? ?? ?? ???? ? ? ?? ????? ? ? ??? ¡ð ?? ?? ??? ???? ????? ??? ????? ??? ?? ??
  • 3. Resampling ¡ð ?? ?? ¡ð Bootstrap(????) Ensemble(???) ¡ð Bagging ¡ð Random forest ¡ð Adaboost
  • 4. 1. No free lunch 2. bias-variance dilemma ???? ??? ?? ??
  • 5. ?? ??? ?? ?? ?? ????? ???? ????? ??? ¡ð ??. ¡ð ????? ?? ? No free lunch(NFL) ?? ? ?? ?? ??? ?? ?? ?? ??? ?? ? ???, ??? ? ??? ? ?? ??? ??? ??? ?? ??? ?? ? ???? ??? ????. ? No free lunch theorems for optimization. (David H. Wolpert) ? ?? ????? ¢Ù, ¢Ú, ¢Û? ??. ??? ?? : ?? ?? ?? ?? ?? : ?? ??? ?? ?? ?? ¢Ù ¢Ú ¢Û ?? ?? ?
  • 6. ?(?) ?(?; ?1) ?(?) ?(?; ?1) sample set : ?1 ?(?) ?(?; ?2) ?(?) ?(?; ?2) sample set : ?2 ?(?) ?(?; ?3) ?(?) ?(?; ?3) sample set : ?3 bias = ???? ?? - ? ?(???? ?? ?) bias? variance?
  • 7. bias-variance-dilemma ¡ð ???? ?? ?(?)??? ?? ¡ð ?? ???? ??? ?(?)? ?? ? ?(?; ?)? ???? ¡ð ?? ?(?; ?)? ?(?)? ??? ??? ?? ???? ??(MSE) : ? ? ? ?; ? ? ? ? 2 = ? ? ? ?; ? ? ? ? 2 + ? ? ? ?; ? ? ? ? ? ?; ? 2 ¡ð bias : ?? ?(?)? ? ?? ?(?)?? ?? ¡ð ?? : ?? ?? ?? ???? ??? ?(?)?? ??. ?(?)? ?? ??? ??? ?? ??? ???. ¡ð ??? ??? ?, ?? ??? ???? MSE? ??. ?? ??? ??? ?? ???. ¡ð ?? ??? ?? ?? ??? ??? ?? ?? ? MSE ?? ????2 ?? Go to Appendix
  • 8. Resampling? ??? ¡ð ?? ????? ??? ?? ??? ? sample ?? ??? ??? ? bias-variance dilemma? ???, ??? ? sample? ?? ???? ?? ?? ??? ?? ? ? ?? ? ?? ??? ??? ?? ??? ???(? sample? ???) Resampling ¡ð ???? ?? ??? ?? ?, ?? ??? ?? ? ???? ?. ¡ð ?? ??? ???? ???? ???? ??
  • 9. ?? ?? ¡ð Resampling? ????, ???? ??? ???? ?? ? ??(no replacement) ?? : ??? ?, ?? ?? ? = { ?1, ?1 , ?2, ?2 , ¡­ , (? ?, ? ?)}, ?(2 ¡Ü ? ¡Ü ?) ?? : ?? ? ???? : ?? ??? ?? ???? ???? ??? ?1, ?2,¡­, ? ?? ??. for (? = 1 to ?) { ?¡ä = ?=1,?¡Ù? ? ?? ? ?? ?? ??? ?? ??? ??(??) } return ? = 1 ? ?=1 ? ?? ?1 ?? ? ? ? = ?=1 ? ?? , ??s are mutually disjoint.
  • 10. Bootstrap ¡ð statistical term for ¡°roll n-face dice n times¡± ¡ð Resampling? ????, ???? ??? ???? ?? ? ??(replacement) ¡ð sample? ? ? ?? ??? ??, ? ?? ? ??? ?? ?? ?? : ??? ?, ?? ?? ? = { ?1, ?1 , ?2, ?2 , ¡­ , (? ?, ? ?)}, ???? ? ?? : ?? ? ???? : for (? = 1 to ?) { ??? ??? ??? ??? ?? ??? ??. (replacement) ??? ??? ?? ??. ? ? ??? ?? ??? ???? ??? ??. } return ? = 1 ? ?=1 ? ?? ? ?? ??? ????? ?
  • 11. ?? ¡ð ??? ??? ??? ?? ? ? ?? ????? ?? ??? ?? ?? ?????? ??? ???? ?? ? ? ?? ?? ??? ?? ??? ???? ??? ?? ??? ??? ??. ? ? ?? ????? ??? ??? ???? ??? ?? ?? ?? ????? ??. ¡ð ???? ??? ?? ??? ? ? ?? ??? ??? ?? ??? ??. Ensemble ¡ð ?? ?? ?? ?? ??? ???? ?? ¡ð ??? ???, ?? (type 1) ? ?? ??? ?? ?? ?? ?? ????? ?? ???, ?? ????? ? ?? ???? ?? ?? ??? ?? ? ?? ??? ??(?? ?? ???? ??? ??? ??? ??) (type 2) ? ?? ??(operation sharing) ??. ? ?? ???? ? ? ??? ????? ??.
  • 12. ???(diversity) ¡ð ???? ??? ???? ?? ?? ?? ??? ?????, ??? ?? ?? ?? ? ?? ??. ¡ð ?? ???? ??? ??? ?? ???? ??? ?? ??? ???? ???? ????? ??. ??? ?? ??? ?? ??? ?? ??? ??? ???(Classifier Ensemble System)
  • 13. ??? ??(??? ??? ???) ¡ð resamplig? ??? ??? ?? ???? ????, ????? ?? ?? ? Bagging ? Boosting ¡ð ?? ??? ?? ??? ????, ?? ?? ??? ?? ? ???? ?? ? Random forest ¡ð ???? ???? ??? : ?? ???(component classifier), ?? ???(base) ? ?1 ? ? ¡­. classifer ?1 learning classifer ? ? learning??? ?? idea(Bagging) {?1, ¡­ , ? ?} resampling
  • 14. Bagging ¡ð ????? ?? ??? ?? ???? ?? : Boostrap aggregating ¡ð boostraped? ?? ???? ?? ?, ?? ?? ???, ????? ???? ?? ¡ð bias¡ý variance¡ü? ???? ?? ? variance¡ý (How? average) ? ?? ???? ?? ????? ??? ???? ? ??? ?? ? ?? ??? ???? ??? ? ??? ?? ? ??? ?? but ??¡ü ?? : ?? ?? ? = { ?1, ?1 , ?2, ?2 , ¡­ , (? ?, ? ?)}, ??? ?? ?(0 < ? ¡Ü 1) ?? : ??? ???(Classifier Ensemble) ???? : ? = 0, ? = ? repeat { ? = ? + 1 ??? ??? ???? ??? ?? ??? ??.(replacement) ??? ??? ??? ????. ? = ? ¡È {??} } until (?? ??) return ? ??? ?? ??
  • 15. Random forest ¡ð tree ??? bagging? subspace sampling? ??? ?? ¡ð tree? correlation? ??(de-correlated trees' collection) - using randomness ¡ð ?? ? : (Regression) collection? tree? sample? ????? ?? ????? ?? ? ??? ???? ??? ??? / (Classification) majority vote ?? : ?? ?? ? = { ?1, ?1 , ?2, ?2 , ¡­ , (? ?, ? ?)}, ??? ?? ?(0 < ? ¡Ü 1) ?? : ??? ???(Classifier Ensemble) ???? : ? = 0, ? = ? repeat { ? = ? + 1 ??? ??? ???? ??? ?? ??? ??.(replacement) ???? split? ?, sample? ? feature ? random?? ? feature? ????. ??? feature?? ??? ?? ?? ??? ??? ?? ????. ? = ? ¡È {??} } until (?? ??) return ? (???? ???? ??) ? ¡Ü ?
  • 16. Boosting ¡ð weak learner? (reweighted) training data ??? ?? ? ?? ?? ?, ?? ? classifiers? (weighted) majority vote? ?? ¡ð ??? ??? ?, ??? ??? ??? ? + 1?? ??? ??+1? ???? ??? ?? ¢Ù ?? ??? ??? ?? ???? ?? ??? ???? ??? ?? ¢Ú ?? ???? ??? ?? ??? ????? ???? ?? ¢Û ??? ???? ??? ?? "????" ????? ???? ?? ¢Ü ??+1? ?? ??? ?? sample ??? resampling ????, ???? ?? ??? ?? ??? ???? ?? ?? ¡ð resampling ?, replacement? ???? ??. ? ? ? ?? ??? ?? ???? ??. ¡ð Adaboost ????
  • 17. ?? : ?? ?? ? = ?1, ?1 , ?2, ?2 , ¡­ , ? ?, ? ? ?? : ??? ???(Classifier Ensemble) {?1, ¡­ }, ??? ??? {?1, ¡­} ???? : ? = 1, ? = ? for (?=1 to N) ?? ? = 1 ? repeat { ? ?? ???? ??? ??? ??(???? ? ??? ???? ??) ? ? = ?? ??? ??? ?? ???? ??? ??? ?? ??( if (?? ?? ¡Ù ??) ) if (? ? < 0.5) { ??? ??? ? ? = ? ? ??( ??? ? ? ? ) for (?=1 to N) { if ( ?? ?? ¡Ù ?? ) ? ?+? ? = ? ? ? ? ? ? ? else ? ?+? ? = ? ? ? ? ??? ? } ??? ?? ? ?+1? ??? ? = ? ¡È {??} } ? = ? + 1 } until (?? ??) return ?
  • 18. ? ?? ???? ??? ??? ??(???? ? ??? ???? ??) ??? ???? ??? ?? ??? ??. ? ? ??? ?? ??? ??(?)? ??? ??. replacement? ???? ???. ??? ??? ?????. ?? 1 ?? 2 ? ??? ????. ? ? = ?=1, ? ? ? ? ¡Ù? ? ? ??(?) ? ??? ??? ??? ?????.
  • 19. ??? ?? ¡ð ?? ???? ??? ???? ??? ?? ??? ??? ?? ¡ð 1?? ???? ?? ? ?? ??(class label) ? ?? ??(class ranking) ? ?? ??(class probability)
  • 20. Class label(?? ??) ¡ð ??? ??, ?? ?? : ?1, ¡­ , ? ? where ?? = ??1, ¡­ , ??? ? ¡ð Majority vote(?? ??) ? = arg max ?=1,¡­,? ?=1 ? ? ?? ¡ð Weighted majority vote(?? ?? ??) ? = arg max ?=1,¡­,? ?=1 ? ? ? ? ?? ? Adaboost?? ??? ? ?? ?? ¡ð Behavior knowledge space(BKS/??????) ? ???? ???? ??? ??? ?????? ???? ?
  • 21. ?? ????(?1, ?2, ?3) ?? : ?1, ?2, ?1 ??? ?1?? ???? ???? ??? ?? ?2? ?2? 99.999%? ??? ?????? ?1, ?2 ¡ú (?2, ?2, ?2) ?2, ?2 ¡ú (?1, ?2, ?1) ¡­ (?7, ?2) ¡ú (?1, ?2, ?1) (?8, ?2) ¡ú (?1, ?2, ?1) (?9, ?1) ¡ú (?1, ?2, ?1) (?10, ?2) ¡ú (?1, ?2, ?1) (?11, ?3) ¡ú (?3, ?3, ?3) ¡­ (?20, ?2) ¡ú (?1, ?2, ?1) (?21, ?2) ¡ú (?1, ?2, ?1) (?22, ?1) ¡ú (?1, ?2, ?1) (?23, ?3) ¡ú (?1, ?2, ?1) ¡­ BKS ? ?? ??? ?? ?1 / ?2 / ?3 ?1, ?1, ?1 ?1, ?1, ?2 ?1, ?1, ?3 ?1, ?2, ?1 2 / 6 / 1 ¡­ ?? ??? ? ?? ?? input sample? ?? ???(?1, ?2, ?1) ?? ?2? ???? ??? ?? ? ??
  • 22. Borda ?? ¡ð ?? ?????? ranking vector ?1, ¡­ , ? ?? ???. ? ? ? = (??1, ¡­ , ???) ¡ð ??? score vector ?1, ¡­ , ? ?? ????. ? ? ? = (??1, ¡­ , ???) ? ????, ??? = ? ? ??? ?? s ?? = 1 ? ?? ? ??. for ? = 1, ¡­ , ? ¡ð ??? ?? ??? ?? ?? ? ?? ? ?? ?? ?? ? ?? ?? ?? ? = arg max ?=1,¡­,? ?=1 ? ???
  • 23. ?? ???? ????, ??, ??, ??? ?? ?? ??? ?? ¡ð MLP? SVM? ?? ?? ?? ?? ?? (Bayesian classifier : ??? ?? ??) ? ?? ?? ? = ?1, ¡­ , ? ? ? ¡ð ??? ??? ???, ?? ??? ???? ??? ??? ?? ???? ?? ?? ¡ð ???? ??? ? ? ????, ??? ??? ??, ??? ?? ¡ð Softmax ?? = ??????? ?? = ? ? ? ?=1 ? ? ? ? where 0 ¡Ü ?? ¡Ü 1, ?=1 ? ?? = 1
  • 24. 1. ???? - ??? 2. ???? ? ?? - ?? ??? 3. The Elements of Statistical Learning - Trevor Hastie, Robert Tibshirani, Jerome Friedman 4. Machine learning : The art and Science of Algorithms that Make Sense of Data - Peter Flach
  • 25. MSE ¡ð ??? ??? ?? ?? ?? ??? ?? ?? ?? : ? ?; ?? ? ? ? 2 ¡ð ??? ??? ?? ?? ?? ?? ?? : ? ? ? ?; ? ? ? ? 2 ? ? ? ? ?; ? ? ? ? 2 = ? ? ? ?; ? ? ? ? 2 + ? ? ? ?; ? ? ? ? ? ?; ? 2 ? ? ? ? 2 = ? ? ? ? ? + ? ? ? ? 2 = ? ? ? ? ? 2 + 2 ? ? ? ? ? ? ? ? + ? ? ? ? 2 = ? ? ? ? ? 2 + 2? ? ? ? ? ? ? ? ? + ? ? ? ? ? 2 = ? ? ? ? ? 2 + ? ? ? ? 2 + 2 ? ? ? ? ? ? ? ? ? = ? ? ? ? ? 2 + ? ? ? ? 2 ?? ????2 ??????2 Go back