Emnlp読み会2015 10 09
- 1. Learning Better Embeddings for Rare Words Using Distributional Representations Irina Sergienya and Hinrich Schutze EMNLP読み会2015：10/09 堺澤 勇也
- 2. 概要 ? なにをやったか ? embedding–learning model の初期化に分布ベクトルを利用 ? どのように学習したか ? Skip-gram model の入力層の部分に分布ベクトルを使用 ? どのように評価?結果をだしたか ? word similarity タスクで rare word の embedding の質の向上 を示した
- 3. 従来の学習 ? 入力層に one–hot vector を使用 (one-hot initialization) ? 少ない頻度の単語の学習が困難という問題がある
- 4. この論文での学習 ? 共起行列を作成し，入力層に distributional vector を使用 (distributional initialization) ? 少ない頻度の単語の学習結果が向上 ? 共起行列の重み付け ? BINARY （共起回数10回以上で1） ? PPMI （スケールが1になるようにスケーリング）
- 5. 使用する共起行列 ? 二種類の共起行列を使用 ? separate (左図) ? mixed (右図) ? k は頻度が閾値 θ を超えている単語数 ? 頻度が閾値以上の単語は従来通りone-hot vector を使用
- 6. Scalability ? 通常の word2vec のO： ? O (ECWD log V) ? E：エポック，C：コーパスサイズ，W：windowサイズ，D：次元数， V：語彙数 ? Distributional vector を使用する場合，上の式にベクトル 内の平均要素数 I をかけて O は以下のようになる： ? O (IECWD log V) ? rare word の場合：I は小さい →計算効率の変化少ない ? 高頻度の単語の場合：I は大きい → 計算効率悪くなる
- 7. 実験設定 ? コーパス：ukWaC+WaCkypedia （前処理あり） ? タスク：word similarity ? 評価データ：RG, MC, MEN, WS, RW, SL ? コーパス内の単語をランダムにθだけ選び、それ以外は他の 単語と見なすことでコーパスを downsampling （fire → **fire**) ? ※ θ は共起行列と評価データに対するパラメータ ? モデル：skip-gram (window 10, 次元 100)
- 8. 実験结果
- 9. 実験结果
- 10. 実験结果
- 11. Binary vs PPMI
- 14. まとめ ? distributional vector を用いた分散表現の学習を提案 ? 実験结果からrare word に対してよい学習結果が得られる ことがわかった ? 高頻度のベクトルに対しては利益が得られなかったのでそ こはfuture work
Editor's Notes
- #8: RG (Rubenstein and Goodenough (1965), 65), MC (Miller and Charles (1991), 30), MEN (Bruni et al. (2012), 3000), WordSim353 (Finkelstein et al. (2001), 353), Stanford Rare Word (Luong et al. (2013), 2034) and SimLex-999 (Hill et al. (2014), 999) RW から16ペアは除いた（コーパスに出て来ない単語たち）
- #9: すぴあまんの相関係数 人間と機会が出した類似度の
- #10: WSを除いてone-hot よりいい結果 Mix 18 / 24 Separate 16 / 24
- #11: Θが大きくなるとギャップが小さくなっていることがわかる この二つから分布初期化はレアワードに対して有効である事がわかる 10 ~ 20 50 ~ 100といった中頻度のものは明確な効果が現れなかった。 結果からθ = 20 で使うのがおすすめ
- #12: I8, L7, L8 を除いてPPMIの方がよい。 正規化することによって、PPMIの方がより単語の共起に対して適切な重み付けが出来ている（当たり前？） BINARYは頻度が反映されてないよね？
- #13: Separate より mixed の方がよい Mixed は頻度を上げても結果は向上するが separate は例外あり Mixed はその行列的に頻度ベクトルでスムージングされている気持ちが入っている
- #14: Rare word に対してはOne-hot より良い結果だよ Distributional のスムージングがよい結果だね Θが小さい方がよりスムージングできてるよね でもこのパラメータはスペシフィックだよ