奥辞谤诲2惫别肠の理论背景
- 2. 自己紹介 ? データ分析と統計モデル構築15年 – 学習データ以外の運用データでも予測が当たることに驚く ? 統計数理研究所の機械学習ゼミに６年間在籍 – 殆どの統計モデルを構築 判別木 SVM ベイジアンネット DeepLearning等 ? ロボット技術習得のため産業技術大学院に入学 – 知覚?機械学習?制御理論の統合が必要で発展途上の技術 ? 経験的には米国の機械学習の論文を読み、できれば 実装するのが一番近道と思っている – NIPS ICML論文読会したい(隔週開催） ? 教師あり学習のXGBOOSTの性能に驚いている
- 3. word2vecとは ? 大量の文書をよんで文字をvectorで表現にする – vectorなので加減算で推論?推薦ができる ? 連想 vec(日本) － vec(東京) ＋ vec(パリ) → vec(フランス) ? 推奨 映画のBacktoFutureにviolenceを強くした映画は？ vec(?????????????) ＋ 2×vec(暴力) → vec(??????) ＋ =2×violence
- 4. word2vecの背景理論 ①なぜword2vecはvectorを使うのか ②なぜword2vecは学習できるのか ③なぜword2vecは加減算で推論できるのか word2vecの理論背景には以下の論文と解説がある ①A Latent Variable Model Approach to PMI-basedWord Embeddings Sanjeev Arora+ (TACL 2016) ②統数研 持橋大地先生の解説資料 （最先端NLP8） http://chasen.org/~daiti-m/paper/SNLP8-latent.pdf
- 5. ①word2vecはvectorを使うのか ? word2vecのvectorの推定方法（skip-gram) – 最適なvector算出するためvectorの内積を使う – 発生確率を教師データとするsoftmaxの回帰モデル 単語Wiとその前後の単語Woの発生確率 教師データ softmax関数
- 6. ①word2vecはvectorを使うのか（理論） A Latent Variable Model Approach to PMI-basedWord Embeddings 単語の発生確率をsoftmax関数で算出できると仮定する 上記論文では以下の定理2.2(a) (b)が成立する 定理2.2(a) 隣合う文字v wの同時生起確率の対数はvector演算となる softmax関数
- 7. ①word2vecはvectorを使うのか（理論） A Latent Variable Model Approach to PMI-basedWord Embeddings 定理2.2 (b) 単語v w間の内積がPMI（相互情報量）に近似できる 定理2.2(a)を代入すると上式が求まる ? ? ? ? ? ? ? ? ? ? ? ?wpvpwvp wpvp wvp loglog,log , log ???
- 8. PMI情報量 ? (he has) (are the) 等のよく出てくる結びつきは意味がない。 (beer wine) (oil economy)の結びつきは意味がある ? 頻繁に出てこない単語でよく見るペアに意味がある ? PMI情報量は頻繁に出ないが、よく見るペアを表す word2vecはPMI情報量（単語の内積）で回帰してvectorを求めている。 教師データ softmax関数
- 9. ①word2vecはvectorを使うのか（証明） A Latent Variable Model Approach to PMI-basedWord Embeddings <前提> 時刻t において, ランダムウォークする文脈ベクトルct があり 単語vecotor wt の発生確率はsoftmax関数に従がうと仮定 この前提で観測するとZはCtに拘らず１
- 10. ? 定理2.2 (a)の証明 ①word2vecはvectorを使うのか（証明） A Latent Variable Model Approach to PMI-basedWord Embeddings 定理2.2(a)
- 11. ? 定理2.2の証明 ①word2vecはvectorを使うのか（証明） A Latent Variable Model Approach to PMI-basedWord Embeddings ※
- 14. ②word2vecは学習できるのか（理論） ? 対数尤度Lを最大となるVector v w を学習できればよい Xvwは生起回数 これから
- 17. ③word2vecの加法推論 ? vec(king) - vec(man) + vec(woman) → vec(queen) vec(king) - vec(qeen) = vec(man) - vec(woman) )|( )|( log )|( )|( log ),( )( )( ),( log ),( )( )( ),( log ),( )()( )()( ),( log ),( )()( )()( ),( log )()( ),( log )()( ),( log )()( ),( log )()( ),( log )()( ),( log )(2.2 womanxp manxp queenxp kingxp womanxp womanp manp manxp queenxp queenp kingp kingxp womanxp womanpxp manpxp manxp queenxp queenpxp kingpxp kingxp manpxp womanxp manpxp manxp queenpxp queenxp kingpxp kingxp d kingx kingpxp kingxp b womanxmanxqueenxkingx x womanmanqueenking womanqueenmanking t tttt ? ? ? ??? ? ??? ??? ??? これを用いると より定理 を掛けて任意 加法則はこれを示す 証明
- 20. まとめ ? 偶然発見されたword2vecの加法則は今回の 論文で限定的だが明らかにされた ? 今迄の自然言語解析は意味解析が殆ど無った – 東大ロボは意味解析で失敗した （情報研 宮尾先生） ? 自然言語の意味理解には分散表現が加わった – 記号表現（構文解析） – 隠れ因子分析（LDAモデル） – 分散表現（vector演算) この融合が研究が期待される <参考> 「自然言語の意味に対する２つのアプローチ」情報研 宮尾