![単語 に対応する分布 を
( ) =
=1
, N[ ; ? , , Σ , ]
とモデリング。ここで、 が意味の数で
=1
, = 1
である。いま、分散共分散行列を対角行列と仮定している。
徐 立元](https://image.slidesharecdn.com/conferencepresentation3-170911124014/85/Multimodal-Word-Distributions-7-320.jpg)
![単語 , に対応する分布をそれぞれ と とする。
( ) = =1 N[ ; ? , , Σ , ]
( ) = =1 N[ ; ? , , Σ , ]
この時、 と の を
θ( , ) = ( ) ( )
により定義する。これは の場合、
θ( , ) =
=1 =1
ξ
である。ξ は論文を参照。
徐 立元](https://image.slidesharecdn.com/conferencepresentation3-170911124014/85/Multimodal-Word-Distributions-8-320.jpg)
Multimodal Word Distributions
- 7. 単語 に対応する分布 を ( ) = =1 , N[ ; ? , , Σ , ] とモデリング。ここで、 が意味の数で =1 , = 1 である。いま、分散共分散行列を対角行列と仮定している。 徐 立元
- 8. 単語 , に対応する分布をそれぞれ と とする。 ( ) = =1 N[ ; ? , , Σ , ] ( ) = =1 N[ ; ? , , Σ , ] この時、 と の を θ( , ) = ( ) ( ) により定義する。これは の場合、 θ( , ) = =1 =1 ξ である。ξ は論文を参照。 徐 立元
- 9. 目的関数 単語 の周辺の単語を ， した単語を ′ とし て θ( , , ′ ) = (0, + ( , ′ ) ? ( , )) を最小化する。 この際、 の単語 と の単語 , ′ で異なる分布を用いる。 徐 立元
- 10. 学習の工夫 単語 を選ぶ際に確率 ( ) = 1 ? / ( ) で選び直す。 単語 ′ を選ぶときには全単語の中から ( ′ ) ∝ { ( ′ )} 3 4 の確率で選ぶ。 どちらも の影響を減らすことが目的 徐 立元
- 11. 単語の類似度 ( , ) = ( ) ( ) ( , ) = , =1... ?? , ? , ∥? , ∥∥? , ∥ ( , ) = , =1... ∥? , ? ? , ∥ 徐 立元
- 14. 実験２ 徐 立元
- 15. 実験３ 単語 1 と 2 について、「 1 ならば 2」を 1 | 2 と書くことにする。 | ?| 単語二つが与えられた時に、| か ?| かを判定するタスクを考える。 徐 立元