際際滷

及6嫗
ドキュメント
フィルタリング
13th October, 2011
@Kshi_Kshi

Study session of reading ＾Programming Collective Intelligence￣ earnestly

廣吭並�
? 云�Y創はドラフト井です。

? いつの晩にか、もう富しグレ�`ド��|�の互い�Y創にして、どこ
かしらにアップロ�`ドする嚠協です。(謹蛍blog)

? �g�`っている�w侭、謹？あるかと房います。

? �g�`いを�つけた圭は、お返方ですが、ご�B�jいただけると
廁かります。

koshikawa2009@gmail.com
@Kshi_Kshi
id: Kshi_Kshi
2011 10/13 : 17:00


徭失�B初
-箆兆
こしかわけんじ
埆寒惹仇 (匯� 云茶�氏の麼岸宀)

-云�I
�{下の圭で僥伏をしています. (�＄寄 M1)
�w弥�oスタジアムの除くに廖んでいますが、恷除は冩梢片の廖酎となりつつある.

-冩梢
蛍勸: 徭隼冱�Z�I尖, セマンティックWEB, 蒙耠Z渇竃, �v�B渇竃, 佩�啌薐�
��: Web畠違 ´ Twitter, Wikipedia, レビュ�`サイト(Amazon, カカクコム)

-Social Media
Twitter: @Kshi_Kshi
Hatena: id:Kshi_Kshi

-恷除
CodeJamJapan2010に歌紗して嚠�x融篤しました. => �Q��追鬚靴泙靴�.
Android �_�k + Scala はじめました.

Study session of reading ＾Programming Collective Intelligence￣ earnestly 3

朕肝
6.1 スパムフィルタリング
6.2 ドキュメントと�g�Z
6.3 蛍�匂のトレ�`ニング
6.4 �_楕を�麻する
6.4.1 容�yを兵める
6.5 �g�ベイズ蛍�匂
6.5.1 ドキュメント畠悶の�_楕
6.5.2 ベイズの協尖の��gな�B初
6.5.3 カテゴリの�x�k
6.6 フィッシャ�`隈
6.6.1 蒙罿燭舛離�謄乾蠅隆_楕
6.6.2 �_楕を�y栽する
6.6.3 アイテムを蛍�する
6.7 トレ�`ニング�gみの蛍�匂を隠贋する
6.7.1 SQLiteを旋喘する
6.8 Blogフィ�`ドをフィルタする
6.9 蒙罿�奮�慮珍�
6.10 Akismetを旋喘する
6.11 その麿の返隈
6.12 エクササイズ

朕肝 - ざっくり
古廷?�g廾��
蛍�匂アルゴリズム�
6.6.2 �_楕を�y栽する蛍�匂アルゴリズム�
蛍�匂の�g廾テクニック
鮄�

6嫗 �C 會
? ドキュメントを坪否に鬉犬瞳幗�する圭隈について�g
箭を住えて盾�h゛
�C ドキュメントフィルタリングは�g喘議でとても噸式
e.g. スパムの�茅
�C 恍書、Webサイトがインタラクティブに
=>スパムの瓜墾はメ�`ルだけじゃない.
CMS畠違(Wiki, Blog)で��貨を�vじるべきである.

? だから云嫗では、
僥�アルゴリズム�ドキュメントがあるカテゴリに奉するか
どうかを�J�Rする�

旗燕議な２つの返隈について茶�し、鮄辰靴討い�茲�
な坪否になっている。ドキュメントフィルタリングの鮄�
枠はいっぱいあるらしい。

朕肝
6.1 スパムフィルタリング肝はココの�をするよ゛

6.1 スパムフィルタリング 1/2
? 兜豚のスパムフィルタリング
�C ル�`ルベ�`スだった.
?寄猟忖の�^業の聞喘 OHAYOUGOZAIMASU
灸侏箭 ?�aに�v�Bする�g�Z オロナイン。オロナイン。
?けばけばしい弼のHTML ようこそスパムの弊順へ
しかし、
��}�. スパマ�`が��貨してくる :
? スパマ�`がル�`ルを僥�=>フィルタ�`指閲=> 仟ル�`ル�m
喘 => スパマ�`僥� ´ の喟�hル�`プ仝いたちごっこ々
��}�. �`�返��} :
? CAPSLOCKの俳り圭がわからないおじいちゃん. =>�Oに
メ�`ルに僕る => SPAMと登協されちゃう => おじいちゃん
の�い曙かない => 丑しい (;д;) ???

6.1 スパムフィルタリング 2/2
? スパムであるかどうかは、誘後された��銈�
�jに�けて��譴燭發里�箸いΔ海箸砲茲�
て、�なる.

??どのメ�`ルがスパムであるか�
?そうでないものはどれなのか�

を僥�させるような
プログラムについて�篇�する駅勣がある゛


朕肝
6.2 ドキュメントと�g�Z 肝はココの�をするよ゛

6.2 ドキュメントと�g�Z 1/4
?どのメ�`ルがスパムであるか�
?そうでないものはどれなのか�
を僥�させるれば措い。 (念スライドの�)

Q. じゃあ醤悶議に採を僥�させるの�
=> A. 蒙罿鮨爾┐討澆泙靴腓�!

蒙罿箸蓮△修譴�▲ぅ謄獪个亡耡擇垢襭┐發靴�
は贋壓しない�とあなたが登協できる採かあれば
採でも措い。
�C ��がテキストの�� :
e.g. �g�Z, �g�Zの�Mみ栽わせ, フレ�`ズ


�Wの鞭佚�

蒙翬�(スパム) : 仝�o俐屎々, 仝S＄X々, 仝�YDVD々 ´


コ�`ドで�h苧
坪否: getwords(doc)
- テキスト嶄の2猟忖參貧の猟忖を�g�Z
と�なして�g�Zに蛍護し、
- すべての�g�Zが弌猟忖に��Qされる


�Y�
仝採を蒙罿箸靴得繒辰垢襪�Qめることは掲械に嶷勣で�yし
い��}である々

蒙罿�l訓に竃�Fする噴蛍にありふれたものでなければならない
が、ありふれすぎていてすべてのドキュメントに竃�Fするようなもの
であってはならない。
蒙罿砲覆蕕覆ぬ�媽�┘好肇奪廛鍠`ド�: a, an ,the ,I ,my ,me

寄きくフィルタリング娼業に�vわってくる.

蒙罿寮�
-ドキュメント来ごと匯つの蒙罿箸靴討澆覆�, tf-idf, メ�`ルの猟
��霊�貌業を�麻するとか,
-どこで曝俳るのか�を�Qめるのもとても嶷勣な�
=> ￣蛍かち��①韻任呂覆ぱ壞Z(晩云�Z?劾�r�Zなど)では蒙に。


朕肝
6.3 蛍�匂のトレ�`ニング肝はココの�をするよ゛

6.3 蛍��Cのトレ�`ニング 1/2
この嫗で�B初するアルゴリズムは屎輝箭を�i
み函ることで僥�する. (縮�嗤り僥�)
☆4嫗のニュ�`ラルネットワ�`クもそうだった

?トレ�`ニングさせればさせるほど、蛍�娼業
がよくなる. ただし、屎しい蛍�に�る。
(�g�`った蛍�デ�`タを僥�に喘いると娼業は��くなる.)

蛍�匂の�g廾゛。クラス classifier


6.3 蛍��Cのトレ�`ニング 2/2

Classifierクラスを�g廾゛トレ�`ニングしてみる.
プロパティ:
fc, cc, getfeatures
メソッド:
incf(), incc(), fcount(), catcount(),
totalcount(), categories(),train(),
sampletrain() # サンプル�g佩喘�▲禰`タ

朕肝
肝はココの�をするよ゛

(念�までの�)カテゴリに竃�Fする�g�Z�阿粒�F方を
誼た.
=> 云�, �_楕で蒙翮燭�Qうように返岷しする.

�C メソッド: fprob() 蛍�匂クラスへの弖紗

? 訳周原き�_楕:
P( A | B ) : 仝Bが軟こったという訳周のもとでAが軟こる�_楕々

=> 書指箔めたもの
P(�g�Z | カテゴリ : ある�g�Zが蒙協のカテゴリに贋壓する�_楕
)

6.4.1 �_楕を兵める - �_楕を�麻する 1/2
(念スライドの�) fpobは蒙罿肇�謄乾蠅砲弔い董��_な�Y
惚を卦してくれるが、ある之泣があるため、富し個措を紗え
る.

Problem
? トレ�`ニング兜豚において、蓮にしか竃�Fしない�g�Z
(蒙罿砲覆蠅砲��)が竃�Fした��蓮�幗�するときにノ
イズになってしまう。
e.g. ｀money¨の�. サンプルの��デ�`タにおいて、
badとした猟に匯指のみ竃�F.

�g�Z¨money¨は云栖、¨bad¨であるとも¨good¨であると
も僅協できない(蒙罿砲覆蠅砲��)�g�Zであるので、
Goodの�_楕が0であるのは、蛍��rのノイズに�Pいてしま
う。


6.4.1 �_楕を兵める - �_楕を�麻する 2/2
Solution
�C ��_羨を�Qめておくといいかも.
�_楕 = (嶷み*��_羨 + count * fprob) / (count + 嶷み)

=> メソッド: weightedprob() の弖紗 => デモ.

After
竃�F�l業が富ない�g�Zが��デ�`タに根まれて
いても、個鋲念より貧返く蒙翮燭魘�xするこ
とができるようになった.

朕肝

6.5 �g�ベイズ蛍�匂 - Wikipedia盾�h
Wikipedia より哈喘
�g�ベイズ蛍�匂�たんじゅんベイズぶんるいき、哂: Naive
Bayes classifier�は、�い��g�な�鏡羨來��┐塙欧縫戰�
ズの協尖を�m喘することに児づいた�g�な�_楕議蛍�匂で
ある。その圷となる�_楕モデルは、より屎�_に冱えば仝鏡羨蒙
羀皀妊�; independent feature model々と柵ぶべきもので
ある。
http://ja.wikipedia.org/wiki/%E5%8D%98%E7%B4%94%E3%83%99%E3%82%A4%E3%82%BA%E5%88%86%E9%A1%9E%E5%99%A8

�_楕�議鏡羨來ベイズの協尖
P( B | A) ? P( A)
2つの�_楕�篳��請△任△襪箸いΔ里蓮� P( A | B) ?
ある�_楕�篳��､�散┨��譴鉾襪詈堆鵝垢函�e P( B)
の�_楕�篳��､�eの匯協��譴鉾襪詈堆鵝垢��
深えられるどのような仝匯協��譟坑─舷爾┐蕕譴襦�
とは宥械ボレル鹿栽怛を峺す�を協めても、並�とこの２つの深え圭を�M
して鏡羨であることを冱う。み栽わせたもの
http://ja.wikipedia.org/wiki/%E7%A2%BA%E7%8E%87%E8%AB%96%E7%9A%84%E7%8B%AC%E7%AB%8B%E6%80%A7

6.5 �g�ベイズ蛍�匂 - Wikipedia盾�h

�g�ベイズ蛍�匂 =>
�_楕議鏡羨來 + ベイズの協尖
この２つの深え圭を�M
み栽わせたもの

このやり圭は��畜な返隈(屎�_さの�Q泣から)
ではないが、�g廾が��gな護にとても�森皂�
な返隈と冱われている.

6.5 �_楕�議鏡羨來について 1/4
P(" Casino"| Bad ) ? 0.8

Category: ｀Bad¨ P(" Python | Bad ) ? 0.2
"

Casino

Python



Casino 鏡羨來の箭
Casinoが根まれる蛍の嶄にも、
P(" Python | Bad ) ? 0.2
"
Python と揖吉な�_楕でPythonが燕
れるという深え圭

Casinoが根まれている猟嶄に
Pythonが竃�Fする�_楕はBad
猟��呂�Pythonが竃�Fする
�_楕と揖じとする.

�F�gだと、そんなわけないじゃん�ってツッコミたいと房うが、
�g�ベイズ蛍�匂の�g�という兆の喇栖はそういうこと。


"

Casino 鏡羨來の箭
Casinoが根まれる蛍の嶄にも、
P(" Python | Bad ) ? 0.2
"
Python と揖吉な�_楕でPythonが燕
れるという深え圭

Casinoが根まれて
いる猟嶄にpython
が竃�Fする�_楕は
揖じ

�F�gだと、そんなわけないじゃん�ってツッコミたいと房うが、
�g�ベイズ蛍�匂の�g�という兆の喇栖はそういうこと。


"

Casino

Python
Badのカテゴリ�`の猟��呂琳个�
猟嶄にpythonとcasino�I宀が根
まれる猟��隆_楕(鏡羨と��┌�

P(" Python"&" Casino"| Bad )
? P(" Python"| Bad ) ? P(" Casino"| Bad )
? 0.2 ? 0.8
? 0.16


6.5.1 ドキュメント畠悶の�_楕 �C �g�ベイズ蛍�匂

�g�ベイズ蛍�匂を聞うには、まずはドキュメ
ント畠悶の嚥えられたカテゴリ�`�eの�_楕を
箔める駅勣ある。

ドキュメント| カテゴリ�`)
P(
を箔める.


6.5.3 カテゴリの�x�k �C �g�ベイズ蛍�匂
恷�Kステップ
秘薦された猟が、どのカテゴリ�`に奉するのかを�g�Hに�Qめる

�g�宛 P(カテゴリ|ドキュメント)
光？のカテゴリ�`に��して
を�麻し、匯桑�_楕の互いカテゴリを�xぶ圭隈.
=> もっともふさわしいカテゴリ�`をやりたいのであれば、OKだが.

しかし、
�麻したカテゴリ�`に奉する�_楕が�H餓の��蓮�o尖に匯桑互い
�_楕のカテゴリ�`を�xぶよりも、�Qめられないという登僅をする圭
がベタ�`な��呂發△�.(spam mail蛍�はまさにそう。)

なので、
云��任蓮�badにフィルタされる�rに、goodにフィルタされる�_楕
*3という��､鰓Oけて�g廾した。(�g�`ってbadにしてしまった圭
がダメ�`ジがでかいため) => コ�`ドで�h苧

朕肝
6.6.2 �_楕を�y栽する肝はココの�をするよ゛

6.6 フィッシャ�`隈 �C 古勣
? スパムのフィルタ�`で叨に羨ち、掲械に屎�_な�Y惚
を伏み竃す

? �g�ベイズフィルタ� ドキュメントの�_楕を麻竃する
ために蒙罿隆_楕たちを旋喘

? フィッシャ�`隈� ドキュメント嶄のそれぞれの蒙罿�
あるカテゴリでの�_楕たちを麻竃し、それらをまと
めた�_楕の鹿栽がランダムな鹿栽と曳�^して互い
か詰いかをテストする

哈喘 http://nlp.dse.ibaraki.ac.jp/~shinnou/zemi2009/colint/colint-sa-0526.pdf

6.6.1 蒙罿燭舛離�謄乾蠅隆_楕 - フィッシャ�`隈

? �g�ベイズフィルタ�ドキュメント畠悶の�_楕
を誼るために畠ての Pr( 蒙� � カテゴリ�
をつなぎ栽わせ、恷瘁にそれを郡�

? フィッシャ�`隈�蒙協の蒙罿鮑�爛疋⑤絅瓮鵐�
が、嚥えられたカテゴリに奉する�_楕を�麻

その蒙罿魍屬張疋⑤絅瓮鵐箸�海離�謄乾蠅亡耡擇垢詈�
P(カテゴリ| 蒙�) ?
その蒙罿魍屬張疋⑤絅瓮鵐畔�


6.6.2 �_楕を�y栽する- フィッシャ�`隈

? 畠悶の�_楕を�つけ竃すため、それぞれの蒙
罿燭舛隆_楕をまとめあげる駅勣がある

? �g�にすべてを�譴浦呂錣擦襪海箸妊�謄乾�
揖平で曳�^する�Hに聞えるような�_楕を麻
竃



6.6.3 アイテムを蛍�する- フィッシャ�`隈
? スパムフィルタでは、それぞれのカテゴリへの和��､�
�Q協する。

? bad カテゴリへの和��､呂�覆蠍澆瓩穆O
�C 0.6 ぐらい
? Good カテゴリへの和��
�C 0.2 ぐらい

=>
good なメ�`ルが�`って bad に蛍�される裡��pらす
謹富のスパムが鞭佚�に尅り蛍けられ


朕肝

6.7 トレ�`ニング�gみの蛍�匂を隠贋する 1/n

? 蛍�匂が Web ベ�`スのアプリケ�`ションの匯
何として旋喘される��
�C ユ�`ザがアプリケ�`ションを旋喘している�gのト
レ�`ニングデ�`タは隠贋されるべき
�C 肝指ユ�`ザがログインした�rにはそれを痌�

?SQLite を旋喘する


朕肝
6.8 Blogフィ�`ドをフィルタする肝はココの�をするよ゛

? �gデ�`タを喘いて、
書までの坪否をやったことをやってみたという
�。

デモは護�曚靴泙�. 云��魏燐佞靴討�世気�.


朕肝
6.9 蒙罿�奮�慮珍� 肝はココの�をするよ゛

云��い欧蕕譴討い織▲ぅ妊��
? 寄猟忖ト�`クンと弌猟忖を�e？のものとして�Qわず、たく
さんの寄猟忖が竃�Fしたら蒙罿箸靴得繒辰垢�.
? ��？の�g�Zに紗え、�g�Zの鹿栽も旋喘する.
? メタ秤�鵑鬚發辰煩a怎する. たとえばメ�`ルメッセ�`ジの僕
り麼、どのカテゴリにそのブログエントリは誘後されたの
か�などの秤�鵑鮴繒�.
? URLと方を頼畠な彜�Bで隠贋

?�g�Hに蒙罿魘�xしている�v方を個措�

��繁議な吭��ただのつぶやき�
tf-idfを�g廾した��呂函△匹辰舛��箸�茲�覆襪鵑�
ろ�`�

朕肝
6.10 Akismetを旋喘する肝はココの�をするよ゛

Akismet(http://akismet.com/)
WordPressのプラグインとしてコメントがスパムか倦かを蛍
�する朕議で�_�kされたライブラリ.
�F壓APIも巷�_されているので、どんな猟忖双でもAkismet
に僕佚することでSpamか倦かを登協してくれている.
Merit
- ブログコメントに��しての娼業が殆這らしい.
(寄楚の屎盾デ�`タを聞喘しているのがとても寄きいとのこと.)
- 返�Xに旋喘辛嬬. (APIキ�`は駅勣)
- どんな猟忖双でも辛嬬. 晩云�Zもサポ�`トされている.
Demerit
- 蛍��rのパラメ�`タ�{屁�o尖.
- 指基の功��となるアルゴリズムは�れない.

朕肝
6.11 その麿の返隈肝はココの�をするよ゛

麿のドキュメント蛍�に嗤薦な蛍�匂:
-NN (Neural Network)
-SVM(support vector machine)

ベイジアン蛍�匂がよくドキュメント蛍�に喘いられる尖喇:
麿の返隈に曳べて、�麻楚が富ない. NNを聞うよりも、掲
械に互堀にフィルタの厚仟�I尖を�gませることができるの
が寄きな尖喇となっている.

しかし、
NNとSVMの圭が娼業は劭かに��れている。
NNでは、�g�ベイズ蛍�匂では彌えることのできない�
札卆贋�v�Sを彌えることが辛嬬。
(�しくは云��發靴��Google枠伏に�いてください)


朕肝
6.12 エクササイズ肝はココの�をするよ゛

7��あります。盾いてみましょう。

1. �△隆_楕を�筝釮垢�.
2. �_楕 P(document)を�麻する.
3. POP3によるメ�`ルのフィルタ
4. 販吭のフレ�`ズ�L
5. IPアドレスの隠隔
6. その麿の蒙�
7. ニュ�`ラルネットワ�`クによる蛍�匂


倖繁議に處楼扮寂にやりたいこと
�Wの鞭佚�

せっかくのスパムデ�`タがたくさんあるので、鞭佚ボックスのメ�`ルに
��してフィルタリングやってみたい。

ご賠�ありがとうございました

8嫗を毅輝してくれる圭
を勅鹿してます。


瘁磯何蛍は護�曚靴討靴泙�
すみませんでした。


際際滷

鹿栽岑プログラミング及6嫗ドキュメントとフィルタリング~draft

More Related Content

鹿栽岑プログラミング及6嫗ドキュメントとフィルタリング~draft

際際滷

鹿栽岑プログラミング 及6嫗 ドキュメントとフィルタリング~draft

More Related Content

鹿栽岑プログラミング 及6嫗 ドキュメントとフィルタリング~draft

鹿栽岑プログラミング及6嫗ドキュメントとフィルタリング~draft

鹿栽岑プログラミング及6嫗ドキュメントとフィルタリング~draft