20110822文献绍介
2 likes1,684 views
学内で開かれたNPBセミナーでの文献紹介用の飼料です。 数式が全然追えていないのであまり参考にならないかと思いますが一応アップしておきます。
![Hierarchical Dirichlet Process[HDP]
（ｒｙ
詳しくは以下の資料をご参照下さい
http://mlg.eng.cam.ac.uk/tutorials/07/ywt.pdf](https://image.slidesharecdn.com/20110822-110825063238-phpapp01/85/20110822-13-320.jpg)
20110822文献绍介
- 1. NPBセミナー文献紹介 “A Nonparametric Bayesian Model of Multi-Level Category Learning” 立命館大学 理工学研究科 島田白井研 山田寛
- 2. 紹介する文献 “A Nonparametric Bayesian Model of Multi-Level Category Learning” to appear in AAAI’11 Kevin R. Canini and Tom Griffiths. (UC Berkeley) NIPSのWorkshopでした／（＾o＾）＼
- 3. 発表の流れ ? 概要 ? 背景と目的 ? 関連研究 ? HDP ? Tree-HDP ? 実験 ? まとめ
- 4. 論文概要 目的：Multi-Level Category Learning カテゴリのラベルが付けられたサンプル 集合からカテゴリ間の階層関係を学習 （カテゴリ間の関係は未知） ? Tree-HDPというHDPの拡張モデルを提案 ? 人工データについて人間と提案法による階層 構造の比較実験→人間と似た階層構造を構築
- 5. Multi-Level Category Learning？ カテゴリ間の階層構造（Taxonomic Structure)の学習 Ex. これらのカテゴリの階層関係は？ 動物 土佐犬 犬 トラ猫 柴犬 三毛猫 猫
- 6. Multi-Level Category Learning？ カテゴリ間の階層構造（Taxonomic Structure)の学習 Ex.これらのカテゴリの階層関係は？ 動物 犬 猫 柴犬 土佐犬 三毛猫 トラ猫
- 7. Multi-Level Category Learning？ カテゴリ間の階層構造（Taxonomic Structure)の学習 Ex.これらのカテゴリの階層関係を答えなさい 動物 犬 猫 柴犬 土佐犬 三毛猫 トラ猫 どのようにしてカテゴリ間の Tree-HDPによる 階層構造を学習させる？ モデリング
- 8. 提案法とMulti-Class Classification Multi-Class Classification – カテゴリ間の関係は無視して独立したものとして扱う （カテゴリごとに識別器を学習するなど） – カテゴリ間の基本的な関係性だけ学習 （カテゴリ間の識別境界の学習） Multi-Level Category Learning（提案法） – カテゴリ間の階層関係（Taxonomy）も学習
- 9. 提案法と Unsupervised Methods for inducing Hierarchy Hierarchical Clustering Structure Learning Learning Ontologies Learning Hierarchies – 物体の類似度による階層構造の作成 Multi-Level Category Learning（提案法） – 物体のカテゴリ(ラベル)情報も利用
- 10. Modeling Human Category Learning ? 認知心理学の分野からスタート – Prototypeモデル（1カテゴリ1クラスタ） – Exemplarモデル（1カテゴリ多数のサンプル） – Intermidiateモデル（1カテゴリ少数のクラスタ）
- 11. Human Category Learning Meets Machine Learning ? 機会学習の手法と対応 –Prototypeモデル Probability Density Estimation –Exemplarモデル Kernel Density Estimation –Intermidiateモデル Dirichlet Process Mixture Model （DPMM）
- 12. Human Category Learning and HDP ? 先ほど挙げた手法を包含するモデル – 各カテゴリはDPMMで表現されるIntermidiateモデル – 基底測度の共有 →他のカテゴリへの転移学習との繋がり – 人間の学習の仕方と関係有り
- 13. Hierarchical Dirichlet Process[HDP] （ｒｙ 詳しくは以下の資料をご参照下さい http://mlg.eng.cam.ac.uk/tutorials/07/ywt.pdf
- 14. Tree-HDP HDPの一般化 ? HDP – 各カテゴリjの分布Gjを共通の要素分布G0からサ ンプリング
- 15. Tree-HDP HDPの一般化 ? Tree-HDP：親子関係を表現する変数τを導入 τ=｛τ1,τ2,τ3,τ4,???,τT｝ T:カテゴリ数 τi:カテゴリiの親 – 再帰的にｊの親の分布GτｊからGjをサンプリング – 集中度αｊをカテゴリ毎に設定 ベイズモデル：τの事前分布は？ τは離散分布ならなんでもOK （この論文では一様分布）
- 16. Tree-HDPの学習 提案法ではGibbs Samplingを採用?CRFの拡張 Notation z ji レストランjの m jk レストランｊのメニューｋ 客iのメニュー を出すテーブルの数 n jk レストランｊでメニュー v jk レストランｊの子店舗で ｋを食べる客の数 メニューｋを出す テーブルの数 z11 = ア（分布） m1ァ=3 n1?=6 v1?=0
- 17. 罢谤别别-贬顿笔の颁搁贵的考え方 フランチャイズがさらに子店舗を持つ Notation z ji レストランjの m jk レストランｊのメニューｋ 客iのメニュー を出すテーブルの数 n jk レストランｊでメニュー v jk レストランｊの子店舗で ｋを食べる客の数 メニューｋを出す テーブルの数 G_3 G_4 ① ② ③ ④ ⑤ ⑥ ⑦ ⑧
- 18. 罢谤别别-贬顿笔の颁搁贵的考え方 子店舗のテーブルで出されるメニュー ＝親店舗の仮想的な客としてカウント v jk : レストランｊの子店舗でメニューｋを出すテーブルの数 v1? ? 7 ④ ⑦ ② ③ ⑧ ⑥ ⑤ ① 1 2 7 5 1 2 5 G_3 G_4 ① ② ③ ④ ⑤ ⑥ ⑦ ⑧ 3 4 6 3 4
- 19. 以下数式タイムです ＼ /_ / ヽ / } ?,' ／￣￣￣￣＼ |｀l｀ヽ ／ヽ／ ＜?｀ヽ u ∨ u i レ' / └l>￣ !i?-） |＼ ｀? ヽ）, ／>/ / 地 ほ こ !?ヽ? ヽ ( _ U !? ヽ?ヽ/,?,?7?/-┬―┬―┬./ 獄 ん れ _|＿/;:;:;7ヽ-ヽ、 '') ""'''｀` ‐'"='-'" / ! ! / だ. と か | |;:;:;:{ U u￣|| u u ,..?_ -> /｀i ! ! ＼：. う ら | |;:;:;:;i＼ iヽ、 i {++-`7, /| i ! ! ＜_ の が __i ヽ;:;:;ヽ ｀? i ヽ、 ￣￣／ =?_i＿ ! ! / ヽ ヽ;:;:;:＼ ｀ヽ?i ／,ゝ_／| i ￣ヽヽ ! ! ,, -'＼ ヽ、＼;:;:;:;:｀ー?｀?'?￣／;:;ノ ? ヽ| ／ ,?-''? ＼／￣￣￣￣ ￣￣￣ Y?／;:;:;＼
- 20. z_jiの事後分布 P( z ji ? k | z ? ji , m, τ, β) ? x ji (n ? ji jk ? v jk ? ? j ?? j k ) f k ( x ji ) 既にテーブルｋがある ? x ji ? j ?? u f kj n ew ( x ji ) 新たなテーブルを作る c.f. CRFでZjiをサンプリングする時
- 25. 実験 ? 提案法が正しく木構造を推定できるかの実験 – いくつかの予め用意した木構造からデータを生成し て提案法によりどれだけ正しく木構造を推定できるか ? 人間と提案法で木構造の推定結果を比較する 実験 – 14カテゴリの深さ３の２分木のような階層構造を持つ 人工のラベル付きデータについて階層構造の推定を 人間にも行ってもらい提案法と結果を比較
- 26. モデルの木构造推定能力の评価実験 左図の４つの構造から データを作成してそれ ぞれの木構造を推定 （学習サンプル数を変更） いずれの場合もサンプル 数が十分あれば推定可能
- 27. 人間の学習者の評価 ? 被験者：Amazon Mechanical Turk95名 U.C. Berkerleyの学生95名 両者に明確な差は出なかった ? 実験手順 1. 各カテゴリ4枚，14カテゴリの計56枚の画像を 被験者にラベル名と共に表示 2. 28枚の画像についてラベル名を表示し，合って いるかテスト（26枚以上正解するまで繰り返す） 3. カテゴリの階層関係を設定してもらう
- 29. 失敗の考察 ? 失敗は2種類 – 二つの階層関係について親子関係が逆 – 階層関係は正しいが間にいるべき子をとばす
- 30. 提案法による評価実験 ? 人間の学習者の実験と同様のタスク ? 性能評価のため以下のパラメータを変えて実験 – 学習サンプル数（４－８０まで） – γの値（1-20）
- 31. パラメータによる性能の比較 ? パラメータによって結果は様々（４－９１％） サンプル数が増えれば性能は上がっていく
- 33. まとめと今後の課題 ? HDPの一般化であるTree-HDPモデルを提案 ? それを利用し，Multi-Level Category Learning において人間と同等もしくはそれ以上の性能 を発揮（ただしサンプル数が十分ある時） ? テキストマイニング等への応用