![朕議
?カテゴリ`に奉するWebサイト蛤
C麿のカテゴリ`には竃Fしにくいカテゴリ`に蒙羿弔蔽~が
慌宥して}方贋壓
ex カテゴリ`仝ゴルフ々 ＾ゴルフ￣、￣コ`ス￣、￣コンペ￣
Webサイトのテキスト秤鵑鰉辰い新幗のvB冩梢
カテゴリ`に蒙羿弔蔽~を旋喘したWebサイトの蛍
?Tf-idf隈 [芦侘,99][椒弥,03][貧翫,04]
C蒙協のサイトのみ謹く竃FするZを蒙羿弔辺Zとみなして蛍
?Bayesian Classifier [Andrew,98]
CgZの竃Fl業によってカテゴリ`に奉する_楕を麻し蛍
篠慎庁](https://image.slidesharecdn.com/honda070214-141008064606-conversion-gate01/85/honda-m-3-320.jpg)
![gY咲vB返隈との蛍娼業の曳^
者O協
? Q高にvする參和の10カテゴリ`を協x
? Yahoo! Japanから光カテゴリ`の協xを困燭好汽ぅ箸鰡xkし聞喘
? 光カテゴリ`ごとに
? ランダムにxkした90%のサイト采鹿栽
? 火り10%のサイト坤謄好伴栽
★ 蒙羿弔蔽~の渇竃に聞喘
★ 蛍のテストに聞喘
? 仝ゴルフ々坤乾襯?の巷塀サイト524サイト
? 仝仏O々坤好櫞`ツ仏Oの巷塀サイト91サイト
? 仝巷@々差@の巷塀サイト181サイト
? 仝ペンション々坤撻鵐轡腑鵑旅塀サイト 1020サイト
? 仝才奮々査擁概蠅旅塀サイト503サイト
? 仝カフェ々坤フェ?鵬莎蠅旅塀サイト358サイト
? 仝テ`マパ`ク々坤透`マパ`クの巷塀サイト190サイト
? 仝胆g^々挫石g^の巷塀サイト409サイト
? 仝疾り々瑳世蠅旅塀サイト485サイト
? 仝唾^々座註^の巷塀サイト1020サイト
? vB返隈Bayesian Classifier
[隆岑のサイトdi がカテゴリ`cjに奉する_楕]
( ) argmax ( ) ( ( ) (1 )(1 ( )))
1
*
it t j
V
t
j it t j
c
i c d p c B p w c B p w c
j
? ? ? ? ??
2 ( )
1 ( , )
( )
j
j t
t j t c
tw c w
p w c
?
?
?
: 畠悶におけるカテゴリ`cj 嶄のサイト方の護栽
Bit : サイトdiにwtが 竃F1 竃Fしない0
tw(cj,wt) : カテゴリ` cjのwtが竃Fするサイト方
t(cj) : カテゴリ` cjのサイト方
( ) j P c
★gZの竃F秤鵑砲茲
カテゴリ`に奉する_楕を麻](https://image.slidesharecdn.com/honda070214-141008064606-conversion-gate01/85/honda-m-7-320.jpg)
More Related Content
More from harmonylab (20)
honda m
- 1. カテゴリ`に蒙羿弔gZを旋喘した Webサイトの蛍にvする冩梢 }栽秤麪好 }j狼垢僥v恙 {才狼垢僥冩梢片 云弥 括崘 Automated Classification Method of Websites by using Characteristic Keywords 峠撹18定業 俐平猟
- 2. 嘘尚 ?WWW貧には湯寄な方のWebサイトが贋壓し、寄楚かつ謹 な秤鵑贋壓 ?Webサイトはテキスト秤鵑砲茲辰謄テゴリ`へと蛍辛嬬 カテゴリ`┌夙砲砲茲辰洞xされた奉來 (ex) 仝奮糾々削奮糾の巷塀サイト 仝ゴルフ々 ゴルフの巷塀サイトと ゴルフの巷塀サイト 識慴とされる室g WWW カテゴリ` Crawler WebサイトのЪ Webサイトのカテゴリ`への蛍 カテゴリ`に奉するサイトの碧 テキスト秤鵑哩vする碧により、箔める秤鵑紳覆茲誼ることが辛嬬
- 3. 朕議 ?カテゴリ`に奉するWebサイト蛤 C麿のカテゴリ`には竃Fしにくいカテゴリ`に蒙羿弔蔽~が 慌宥して}方贋壓 ex カテゴリ`仝ゴルフ々 ＾ゴルフ￣、￣コ`ス￣、￣コンペ￣ Webサイトのテキスト秤鵑鰉辰い新幗のvB冩梢 カテゴリ`に蒙羿弔蔽~を旋喘したWebサイトの蛍 ?Tf-idf隈 [芦侘,99][椒弥,03][貧翫,04] C蒙協のサイトのみ謹く竃FするZを蒙羿弔辺Zとみなして蛍 ?Bayesian Classifier [Andrew,98] CgZの竃Fl業によってカテゴリ`に奉する_楕を麻し蛍 篠慎庁
- 4. Webサイトの蛍隈済Яr F(i ,w) i S df i w F i w ( , ) ( , ) ? F(i ,w) 蛍したいカテゴリ` Webサイト 梁畑???0.8 お人???0.4 凡牡???0.1 ?? 屎箭 箭 :i參翌の畠てのカテゴリ`を1つのカテゴ リ`とした栽 璽テゴリ` i 嶄の兆~ w のスコア R(i,w) ★ カテゴリ`嶄(屎箭)の謹くのサイトに竃F する兆~のスコアが互い ★ その麿のカテゴリ`(箭)には竃Fしない 兆~のスコアが互い ( , ) ( , ) ( , ) ( , ) F i w F i w F i w R i w ? ? 蒙羿弔蔽~の渇竃による僥 df(i,w) : カテゴリ` i に奉しかつ兆~wが竃F するWebサイト方 Si: カテゴリ` i に奉するWebサイト鹿栽 ???0.8 梁畑???0.7 創署???0.8 ???0.4 ?? ?? F(i,w) R(i,w)
- 5. Webサイトの蛍隈嵯幗r 貌業similarity を麻 ｦ倉塢 梁畑???0.7 お人???0.4 埖???0.1 カテゴリ`仝唾^々の兆~のスコアR(i,w) カテゴリ`仝唾^々 の ???α 隆岑のサイト嶄の畠兆~ 梁畑 お人 埖 晩 s w W W R i w similarity s i s ?? ? ( , ) ( , ) Ws : サイト s 嶄の兆~鹿栽 璽汽ぅ s とカテゴリ` i の貌業 similarity(s,i) 唾^に奉するサイト 僥鹿栽を喘いてその 嶄で蛍娼業が互くな るようにO協 隆岑のサイトから畠兆~を渇竃し、蛍
- 6. gYの古勣 F(i ,w) Webサイト 梁畑???0.8 お人???0.4 凡牡???0.1 ?? 屎箭 箭 ???0.8 梁畑???0.7 創署???0.8 ???0.4 ?? ?? F(i,w) R(i,w) ｦ倉塢 隆岑のサイト嶄の畠兆~ 梁畑 お人 埖 晩 カテゴリ`に奉するサイト 貌業similarity を麻 写甍己峽┐慮賭 屎箭と箭のxび 圭による蛍への 唹 ★ 僥鹿栽のxk による蛍娼業の峠 譲?蛍柊の篁の ^gY vB冩梢と曳^した 蛍娼業の嗤塵圍 ★ vB冩梢との蛍 娼業の曳^gY あらゆるサイトにして も蛍は嗤殖 ★ WWW貧からリンクをたどってЪし たサイトについて蛍娼業の編^gY
- 7. gY咲vB返隈との蛍娼業の曳^ 者O協 ? Q高にvする參和の10カテゴリ`を協x ? Yahoo! Japanから光カテゴリ`の協xを困燭好汽ぅ箸鰡xkし聞喘 ? 光カテゴリ`ごとに ? ランダムにxkした90%のサイト采鹿栽 ? 火り10%のサイト坤謄好伴栽 ★ 蒙羿弔蔽~の渇竃に聞喘 ★ 蛍のテストに聞喘 ? 仝ゴルフ々坤乾襯?の巷塀サイト524サイト ? 仝仏O々坤好櫞`ツ仏Oの巷塀サイト91サイト ? 仝巷@々差@の巷塀サイト181サイト ? 仝ペンション々坤撻鵐轡腑鵑旅塀サイト 1020サイト ? 仝才奮々査擁概蠅旅塀サイト503サイト ? 仝カフェ々坤フェ?鵬莎蠅旅塀サイト358サイト ? 仝テ`マパ`ク々坤透`マパ`クの巷塀サイト190サイト ? 仝胆g^々挫石g^の巷塀サイト409サイト ? 仝疾り々瑳世蠅旅塀サイト485サイト ? 仝唾^々座註^の巷塀サイト1020サイト ? vB返隈Bayesian Classifier [隆岑のサイトdi がカテゴリ`cjに奉する_楕] ( ) argmax ( ) ( ( ) (1 )(1 ( ))) 1 * it t j V t j it t j c i c d p c B p w c B p w c j ? ? ? ? ?? 2 ( ) 1 ( , ) ( ) j j t t j t c tw c w p w c ? ? ? : 畠悶におけるカテゴリ`cj 嶄のサイト方の護栽 Bit : サイトdiにwtが 竃F1 竃Fしない0 tw(cj,wt) : カテゴリ` cjのwtが竃Fするサイト方 t(cj) : カテゴリ` cjのサイト方 ( ) j P c ★gZの竃F秤鵑砲茲 カテゴリ`に奉する_楕を麻
- 8. Y惚左カテゴリ`の蛍娼業 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 ゴ ル フ ペ ン シ ョ ン 才 奮 胆 g ^ 疾 り カ フ ェ 唾 ^ テ ` マ パ ` ク 仏 O 巷 @ Bayesian Classifier 戻宛返隈 壅F楕 tp fn tp N N N ? ? fp tn fp tp fn tp tp fn tp N N N N N N N N N ? ? ? ? m栽楕? 屎箭と登僅箭と登僅 屎箭Ntp Nfp 箭Nfn Ntn ペンションと唾^參翌は 戻宛返隈のほうが互い 蛍娼業を幣した ? Bayesian Classifierと戻宛返隈それぞれにおけるF1 壅F楕m栽楕 壅F楕m栽楕 ? ? ? ? 2 F1
- 9. Y惚此献撻鵐轡腑鵝后限註^々の深賀 80 14 4 ペンション 唾^ その麿 70 12 10 唾^ ペンション その麿 ? 仝ペンション々に奉すると登僅された サイトのgHのカテゴリ`98サイト ? 仝唾^々に奉すると登僅された サイトのgHのカテゴリ`92サイト g`って蛍されたサイト18サイト嶄14サイトが カテゴリ`仝唾^々のサイトで媼められている g`って蛍されたサイト22サイト 嶄12サイトがカテゴリ`仝ペンション々 のサイトで媼められている 光カテゴリ`ごとに兆~のスコアRの週に5000Z xkしたとき2カテゴリ`gで匯崑した兆~方 仝ペンション々仝唾^々 472Z その麿2カテゴリ` の峠譲 205Z 貌たカテゴリ`をxkしたときにはどちらも貌た兆~が渇竃されたため g`って蛍されたと深えられる
- 10. Y惚些薐された兆~ カテゴリ` ゴルフ ロングヒッタ` ティ`ショット ペリア ペンション 冫埓 伊圭塁功 ＭＴＢ 才奮 うな嶷 すっぽん 己 胆g^ 云婢 云 猟婢 疾り m 囮唾侭 m秘 カフェ キリマンジャロ ジャマイカ ダ`ジリン テ`マパ`ク メリ`ゴ`ランド のりもの ホルスタイン 唾^ 去圭 弌刧 m鮇 巷@ シラカシ アラカシ エゴノキ 仏O 晩云悶圄f氏 屯才レッズ ダンベル 兆~のスコアR 詰 互
- 11. gY済Я鹿栽のxkによる蛍娼業の唹 ?10fold Cross-validation左カテゴリ`のサイト方を10蛍護しそれぞれ 鹿栽畠10宥りのxび圭によるF1､瞭従と蛍柊を麻 F1の峠譲 F1の蛍柊 ゴルフ 0.92 0.00023 ペンション 0.81 0.00029 才奮 0.83 0.00059 胆g^ 0.86 0.00030 疾り 0.88 0.00053 カフェ 0.64 0.00052 唾^ 0.72 0.00049 テ`マパ`ク 0.45 0.01399 仏O 0.63 0.00465 巷@ 0.63 0.00076 ?どのカテゴリ`でも蛍柊は弌さく、鹿栽のxび圭による 唹は富ないということがいえる
- 12. gYwww貧のサイトにする蛍娼業の編^ 者O協 ? 鹿栽 ? 參和のカテゴリ`を協xし、Yahoo! Japanから協xを困燭好汽ぅ箸鰡xkし聞喘 ? テスト鹿栽 ? 鹿栽のカテゴリ`仝ゴルフ々のサイトからリンクをたどってЪした384サイト ?仝ゴルフ々坤乾襯?の巷塀サイト472サイト ?仝仏O々坤好櫞`ツ仏Oの巷塀サイト82サイト ?仝巷@々差@の巷塀サイト163サイト ?仝ペンション々坤撻鵐轡腑鵑旅塀サイト 918サイト ?仝才奮々査擁概蠅旅塀サイト453サイト ?仝カフェ々坤フェ?鵬莎蠅旅塀サイト323サイト ?仝テ`マパ`ク々坤透`マパ`クの巷塀サイト171サイト ?仝胆g^々挫石g^の巷塀サイト369サイト ?仝疾り々瑳世蠅旅塀サイト437サイト ?仝唾^々座註^の巷塀サイト918サイト ? 戻宛返隈をm喘し、カテゴリ`仝ゴルフ々に奉するサイトをЪ
- 13. 5 64 54 2 19 25 ゴルフ? 凡牡仏O 爺 氏芙?睫 ショップ その麿 Y惚 128 16 8 15 28 20 ゴルフ? 凡牡仏O 爺 氏芙?睫 ゴルフ睫?ショップ その麿 壅F楕0.96 m栽楕0.60 F1:0.74 ゴルフ睫?ショップやゴルフの爺殲鵑覆鼻 ゴルフの秤鵑根まれるサイトが謹い ? 壅F楕が0.96と、カテゴリ`に奉するサイトはほとんどЪで きたが、ゴルフに貌たサイトも謹くЪされた ? 仝ゴルフ々に奉すると登僅された サイトのgHのカテゴリ`215サイト ? 仝ゴルフ々に奉さないと登僅された サイトのgHのカテゴリ`169サイト ゴルフリゾ`トのサイトのように ホテルなどその麿の秤鵑謹く g`って蛍されたと深えられる
- 14. まとめ ?Webサイトのカテゴリ`への徭啖幗隈を戻宛した ?カテゴリ`に蒙羿弔蔽~を旋喘した蛍 ?Yahoo! Japanとその麿WWW貧のサイトにしてm 喘し、嗤塵圓鯤召靴 ?Bayesian Classifierとの曳^gY ?WWW貧からカテゴリ`仝ゴルフ々に奉するサイトをЪ ?Cross-validation隈を喘いて僥鹿栽のxび圭による蛍 娼業の唹がないことを幣した