はじめてのパタ`ンJR 及11嫗 11.1-11.2
- 4. 11.1 ノ`フリ`ランチ協尖 ? すべてのクラス蛍下で匯にuすれば、どのRe匂も揖じ來嬬にな る。 ? 鵑箸垢}I囃をｶ┐靴覆韻譴弌晒來嬬はすべて揖じになっ てしまう。 僥デ`タ テストデ`タ ? ? ?1 ?2 ? ?1 ?2 ? ?25 ?1 ?2 000 ?1 ?1 ?1 011 1 ?1 ? ?1 ?1 1 001 ?1 ?1 ?1 100 ?1 1 ? ?1 ?1 1 010 1 1 1 101 1 ?1 ? ?1 ?1 1 110 ?1 1 ? ?1 ?1 1 111 ?1 1 ? ?1 ?1 1
- 5. 11.1 ノ`フリ`ランチ協尖 ? }I囃がｶ┐気譴討癲匯つのRe匂ではよいJR來嬬が誼られな い栽がある。 ? そのような栽にIする匯つの圭隈は、}方のRe匂をMみ栽わせ ることである。
- 6. 11.1 ノ`フリ`ランチ協尖 ? gなRe匂のMみ栽わせで}jなRe廠順を撹する返隈 ? Q協直 ? }方のQ協直やRe匂をMみ栽わせてRe來嬬を晒する返隈 ? バギング ? ブ`スティング ? ランダムフォレスト
- 7. 11.1 ノ`フリ`ランチ協尖 ? Q協直の僥にvする旗燕議な圭塀 ? CART (classification and regression tree) ○ 云嫗ではこれを嶄伉にQう ? ID3 ? C4.5
- 8. 11.2 Q協直
- 10. 11.2 Q協直 ?1 ?2 ?
- 14. 11.2 Q協直 ?1 ?2 ? ? ? ? ?
- 15. 11.2 Q協直 ? 蒙耷S ?1 の､しきい ?, ?, ? より寄きいか弌さいか、蒙耷S ?2 の ､しきい ?, ? より寄きいか弌さいかを登僅しさえすれば、¢と＄ をReすることができる。 ?1 ?2 ? ? ? ? ?
- 16. 11.2 Q協直 ? ある蒙耷Sの､箸靴い､隆麸♂vSを登僅する^殻は、貧蹐里茲 なQ協直として燕Fすることができる。 1 2 3 4 5 8 9 10 11 6 7 ?1 > ? ?2 > ? ?1 > ? ?1 > ? ?2 > ? Yes Yes Yes Yes No No No No NoYes
- 17. 11.2 Q協直 1 2 3 4 5 8 9 10 11 6 7 ?1 > ? ?2 > ? ?1 > ? ?1 > ? ?2 > ? Yes Yes Yes Yes No No No No NoYes 功ノ`ド
- 18. 11.2 Q協直 1 2 3 4 5 8 9 10 11 6 7 ?1 > ? ?2 > ? ?1 > ? ?1 > ? ?2 > ? Yes Yes Yes Yes No No No No NoYes K極ノ`ド ~ノ`ド
- 19. 11.2 Q協直 1 2 3 4 5 8 9 10 11 6 7 ?1 > ? ?2 > ? ?1 > ? ?1 > ? ?2 > ? Yes Yes Yes Yes No No No No NoYes 坪何ノ`ド
- 20. 11.2 Q協直 1 2 3 4 5 8 9 10 11 6 7 ?1 > ? ?2 > ? ?1 > ? ?1 > ? ?2 > ? Yes Yes Yes Yes No No No No NoYes 掲K極ノ`ド
- 21. 11.2 Q協直 ? 僥デ`タからQ協直を撹する圭隈 ? ボトムアップ議な返隈 ? ある匯つの僥デ`タを屎しくReできる蒙罿亮栽を冥して蒙歩なRetを恬 り、蒙罿する崙sをめながら、ほかの僥デ`タも屎しくReできるよう tを匯違晒していく返隈 ? トップダウン議な返隈 ? まず功ノ`ドですべての僥デ`タをできるだけ`りの富ないようにクラス蛍けで きる蒙耷Sを冥して蒙翨實gを2蛍護するtを箔め、2蛍護された腎gをさらにそ れぞれ2蛍護するtを箔めることをRり卦してQ協直を撹Lさせる返隈 ? 蛍護y嵶隈と柵ばれる ? F壓麼送の返隈
- 22. 11.2 Q協直 ? トップダウン議な返隈でQ協直を僥デ`タから撹するためには、 肝の勣殆について深える駅勣がある。 1. 光ノ`ドにおいて蒙翨實g蛍護tを撹するための蒙耷Sとしきい､累xk 2. K極ノ`ドのQ協。寄きくなった直の儒協をどこまで佩うかのxk。 3. K極ノ`ドにする謹方Qによるクラスの護り輝て。
- 24. 11.2.1 Q協直にvするT協x ? 直は、0 ではない嗤の屎の屁方からなる鹿栽 ? と、 ? （ ? から ? “ 0 への屈つのv方 left( ) と right( ) で撹される。 ? left , right( ) はそれぞれ恣函嘔箸隆離立`ド桑催を嚥えるv方
- 25. 11.2.1 Q協直にvするT協x ? 直が困燭腔壅| 1. 光 ? （ ? について、left ? = right ? = 0 (K極ノ`ド)か、left ? > ? かつ right ? > ? (掲K極ノ`ド)のいずれかが撹り羨つ。 2. 光 ? （ ? について、 ? 坪の恷弌方(功ノ`ド)を茅いて ? = left ? または ? = right ? のどちらかを困燭垢燭籍擦弔 ? （ ? が贋壓する。? をHノ`ド、 ? を 徨ノ`ドといい、 ? = parent ? で燕す。
- 26. 11.2.2 ノ`ド蛍護t
- 28. 11.2.2 ノ`ド蛍護t ? ノ`ド ? の音業 ? ? = ? ? ?1|? , ? , ? ? ?|? 11.7 ? ここで、v方 ? ?1, ? , ? ? は、?? − 0, ?=1 ? ?? = 1 にして肝の眉つの 來|を困燭擦个茲ぁ 1. ?() は、すべての ? = 1, ? , ? にして ?? = 1/? のとき、すなわちど のクラスの並瘁_楕も匯に吉しいとき恷寄になる。 2. ?() は、ある ? について ?? = 1 となり、? 』 ? のときはすべて ?? = 0 、 すなわち、ただ匯つのクラスに協まるとき恷弌になる。 3. ?() は、 ?1, ? , ? ? にvして各なv方である。
- 29. 11.2.2 ノ`ド蛍護t ? 旗燕議な音業を燕すv方 1. ノ`ド ? における`り楕 ? ? = 1 ? max ? ? ??|? 2. 住餓エントロピ`または叺用業(deviance) ? ? = ? ?=1 ? ? ??|? ln ? ??|? 3. ジニS方(Gini index) ? ? = ?』? ? ??|? ? ??|? = ?=1 ? ? ??|? 1 ? ? ??|?
- 30. 11.2.2 ノ`ド蛍護t ? ノ`ド ? で蛍護tを恬るとき、音業のpり圭が匯桑寄きな蛍護を xべばよい。 ? 蛍護を ? としたとき、 Δ? ?, ? = ? ? ? ? ?? ? ? + ? ?? ? ? が恷寄になる ? を、辛嬬な蛍護の昨aの嶄からxべばよい。
- 31. 11.2.2 ノ`ド蛍護t ? どこで蛍護を峭めればよいのか ? 盾Q貨の匯つとして、仝音業が噴蛍に弌さくなるまで直を撹Lさせ、 肝に、`り楕と直の}jさでQまるS否譴泙把召鮗協する々とい うものがある。
- 33. 11.2.3 直の儒協アルゴリズム ? 直を撹した僥アルゴリズムにする壅旗秘`り楕を協xする。 ? K極ノ`ド ? （ ? における`り楕は ? ? = ? ? ? ? （ ? と協xできる。 ? ここで、 ? ? ? 砂K極ノ`ド ? における`り方 ? ? 詐t僥デ`タ方 ? 直畠悶での壅旗秘`り楕の容協､ ? ? = ?（ ? ? ? となる。
- 34. 11.2.3 直の儒協アルゴリズム ? 直の}jさをK極ノ`ドの方でuすることにする。 ? 匯つのK極ノ`ドにおける`り楕と}jさのコストの才 ? ? ? = ? ? + ? ? ここで、? 災擦弔僚K極ノ`ドがあることによる}jさのコスト ? 直畠悶のコストは、 ? ? ? = ?（ ? ? ? ? = ? ? + ? ? となる。 ? ここで、 ? 砂K極ノ`ド方
- 35. 11.2.3 直の儒協アルゴリズム ? 販吭のノ`ド ? と功ノ`ドとする蛍乢( ? のすべての徨Oからなる何蛍 直)を ?? で燕す。 ? もし、 ? ? ?? < ? ? ? であれば、? をK極ノ`ドと深えたときの`り と}jさのコストより、 ? の蛍乢がもつコストの圭が弌さいので、 ?? をそのままにしておいた圭が畠悶のコストは弌さくなる。 ? しかし、屎t晒パラメ`タ ? を肝及に寄きくしていけばI宀は吉しく なり、そのときの ? は、 ? = ? ? ? ? ?? ?? ? 1 で嚥えられる。
- 36. 11.2.3 直の儒協アルゴリズム ? ? を ? のv方とみなして、 ? ? = ? ? ? ? ?? ?? ? 1 と協xする。 ? これをノ`ド ? のリンクのさにvする樫業と深える。
- 37. 11.2.3 直の儒協アルゴリズム ? 直の儒協アルゴリズム 1. ?0 = ?, ? = 0 とする 2. ? ? ? ? = min ?（ ? ?? ? ? ? ? を麻する 3. 恷弌､鬚箸襯立`ドの鹿栽を ? ? = ?1 ? , ? , ? ? ? ? とする 4. ? = 1, ? , ? ? について參和をRり卦す a. left ?? ? を功とする蛍乢を ? ? から茅する b. right ?? ? を功とする蛍乢を ? ? から茅する 5. ? = ? + 1 とする 6. 儒協された直を ? ? とする 7. ? ? = 1 であればK阻。そうでなければ 2 にる
- 38. 11.2.3 直の儒協アルゴリズム ? 壅旗秘`り楕 ? ? ? は、儒協をMめるとg{に紗するので、どこで 峭めるべきかの秤鵑鰉襪┐討れない。 ? 峭めるとことを冥すためには、テストデ`タで晒`餓を容協しなが ら儒協をMめる駅勣がある。 ? ホ`ルドアウト隈や住餓_J隈を喘いて`り楕が恷も弌さくなる ? の ､鯒鵑瓩譴个茲ぁ ? 1 米餓ル`ルとよばれる返隈が戻宛されている。
- 39. ご賠ありがとうございました。