狠狠撸

狠狠撸Share a Scribd company logo
Orthogonality of Syntax and Semantics within
Distributional Spaces
Jeff Mitchell , Mark Steedman
ACL読み会2015:10/02
堺澤 勇也
概要
? なにをやったか
? ベクトル空間を semantic な空間と syntax な空間が直交する
ように設計し,ベクトル空間を学習
? どのように学習したか
? word-order と morphological structure を利用することに
よって,ベクトルを分解した
? どのような結果をだしたか
? semantic-similarity,pos-induction,word-analogy の三つ
のタスクで精度向上がみられた
従来のベクトル空間の考え
? 同等の関係(semantic, syntax)
はベクトルの差が平行になる傾
向があることを利用
?
? semantic 的関係を示す
?
? syntax 的関係を示す
この論文の仮説
? 平衡性 (Mikolov et al. 2013):
? 同じ関係が一貫して同じようにベクトル化されていることを示
すのに役立つ
? 直交性(主張):
? 異なる関係は明らかに異なってベクトル化されていることを示
すのに役立つ
? 今回は semantic と syntax の関係に焦点を当てる
? これらは最も異なる特性を持つとしている
従来のモデル;CBOW
確率:
目的関数:
使用するベクトル:
提案するモデル
? 従来の単語ベクトルの学習は以下の点を考慮していない
? 単語の語順
? 単語の形態素情報
? CBOWを拡張し,上の欠点を補う4つのモデルを提案
? Continuous Sequence of Words (CSOW)
? Continuous Bag and Sequence of Words (CBSOW)
? Continuous Bag of Morphemes (CBOM)
? Continuous Bag and Sequence of Words and Morphemes
(CBSOWM)
? CSOW:
? 単語の語順を考慮したモデル
? CBSOW:
? CBOWとCSOWを組み合わせたモデル
Si:単語ベクトルを連結したベクトル
CSOW?CBSOW
CBOM?CBSOWN
? CBOM:
? left (stem) と right (suffix) で分けて学習する (CELEXを使用)
? CBSOWM:
? 全てのモデルを結合
? メインはCBSOWで以下の式を目的関数に加えて正則化
l:stemベクトル
r:suffixベクトル
実験ではλ = 0.1
学習
? 学習データ:
? English Wikipedia (データ量 : 17M, 120M, 1.6B)
? ベースライン:
? word2vec,Glove (両方とも300次元,窓長5, 10, 15)
? 提案手法:
? CBOW を4つのモデルに拡張したもの
? 次元:
? 17M:10 ~ 1000
? 120M?1.6B:200(semantic) + 100(syntax)
? CBSOW と CBSOWN は以下のようにベクトルを生成する
直交性の実験?評価
? モデル:CBOW, Skip-gram, GloVe
? タスク:word-analogy (word2vec toolkit)
? 類似度:
提案モデルの実験?評価
? タスク:
① noun-verb similarity (Mitchell, 2013)
② clusters in relation to the POS classes (Penn Tree-bank)
③ word-analogy (word2vec toolkit)
result ① Result ②
提案モデルの実験?評価
result ③
result ③
? まとめ
? ベクトル空間での直交性の有用さを示した
? 意味的と構文的表現を分けるために単語順序と形態素を利用
? いろいろなタスクの精度向上を確認
? feature work
? 他のタスクでも成功しそうなので応用したい
? 形態素のところはもう少しリッチに学習するとさらにいいかもしれ
ない

More Related Content

ACL読み会2015 10 02

Editor's Notes

  1. しかし、図1の四角形の反対サイドはそれぞれ平行であることを知っていてもコーナーで何がおこっているかは謎のままである。 言い換えると、 意味的違いとシンタックス的違い間の関係の違いはなんなの?
  2. もし全ての意味的関係が純粋に全ての構文的関係と直行していたら、それらの空間は二つの直行的部分空間に分解することができる: 一つは意味的空間、もう一つは構文的空間。
  3. それらのタイプの素性は両方とも簡単な単語共起モデルやBOWやレンマ化といった意味的アプローチのためのよい素性として働き、一方系列順序や接頭辞は構文のためによく働く。 Mitchellは、単語の順序は意味的構造から構文的構造を分けるのに有用であることをしました、簡単なバイグラムよりニューラルネットワークモデルでまた形態素情報なしで。
  4. 意味的なのと构文的なのが确かに直交しているといい感じなのを示している