狠狠撸

自然言語処理による
議論マイニング
東京工業大学
情報理工学院情報工学系知能情報コース
岡崎直観（okazaki@c.titech.ac.jp）
http://www.chokkan.org/
@chokkanorg
2018-06-05 自然言语処理による议论マイニング 1

議論マイニング (argument mining)
(Gurevych+ 2016)
? 議論学に基づきながら，語用論のレベルで与
えられたテキストの談話構造を解析
? 議論学: 議論のモデル?理論（例: トゥールミン）
? 語用論: 発話の意味を超え，発話の機能も考慮
? 談話構造: 文の境界を越えた関係
? 関連技術
? 感情分析: 対象物に対する話者の評価を推定
? 談話構造解析: 文章の構造を推定
? 含意関係認識: 文間の意味的な関係を推定

実例でみる議論マイニング
① セグメンテーション
大学の講義はすべて英語化すべき
だ．優秀な学生が世界中から集ま
るし，日本人学生が世界で活躍す
る可能性が広がる．
大学の国際競争力が下がるだけだ．
授業の質は低下するし，日本人学
生の英語力はそこまで高くない．
中高の教育も含めてトータルに見
直すべきだ．
主張（claim）
文章1 文章2
事実?前提（premise）
? 文章から議論の「単位」を認定
? 議論単位の「役割」を推定
? 役割の定義も色々ある
同時に解く手法／
別々に解く手法の
両方がある

実例でみる議論マイニング
② 関係認識?構造化
? 議論単位の間の関係を推定
? Support: 根拠や支持
? Attack: 反論や批判
大学の講義はすべて
英語化すべき
中高の教育も含めて
トータルに見直すべき
優秀な学生が世
界中から集まる
日本人学生が世
界で活躍する可
能性が広がる
大学の国際競争
力が下がるだけ
授業の質は低下
する
日本人学生の
英語力はそこま
で高くない
この関係の定義も色々ある
先に関係の有無を当ててから，関係の
種類を予測する方法もある

議論マイニングの応用 (※未実現の応用も含む)
ディベート?裁判の自動化?支援
https://www.youtube.com/watch?v=7g59PJxbGhY
見聞の広い市民の養成 (※)
https://www.procon.org/
フェイクニュースの検出
http://www.fakenewschallenge.org/
世論調査 (※)
http://www.asahi.com/politics/yoron/

典型的な手法 (Stab+ 2017)
IOB2記法による
系列ラベリング
セグメントから特徴量を取り出し，
SVMで”major claim”, “claim”,
“premise”の３値分類
セグメント対に対して，
SVMで”linked”, “non-
linked”の2値分類
CRFで各単語に”O”,
“B-Arg”, “I-Arg”
のラベルを付与
整数計画問題を使って，component
classificationとrelation identification
の結果が全体最適になるように調整
“linked”と判定されたセグメント対の
関係をSVMで”support”と”attack”に
2値分類

入力と出力の例 (Stab+ 2017)

論説文章に対する性能 (Stab+ 2017)
単一文書での解析性能は比較的高いが，意思決定?合意形成の目的
を考えると，著者?話者?動機の異なる複数の文書の解析が必要

議論マイニングのボトルネックは世界知識
(Saint-Dizier 2016, Hanawa+ 2017, Moens 2018)
? 世界知識が必要となる例 (cellphoneの知識が要る)
? is-a(cellphone, technology)
? used-for(cellphone, communication)
? 議論マイニングにおいて世界知識は必須
? 議論単位間の関係予測において，78%の議論で世界知識が
必要 (Saint-Dizier 2016)
? 賛否分類タスクにおいて，33.9%の発言に対して世界知識
が必要 (Hanawa+ 2017)
Technology negatively influences how people communicate.
Some people use their cellphone constantly and do not even notice their environment.
2番目の文は1番目の
文の論拠

議論マイニングに世界知識を導入する試み
? 世界知識に基づく議論マイニング
? 主張間のギャップ (Boltuzic+ 2016)
? Argument reasoning comprehension (Habernal+ 2018)
? 注意機構に基づくスタンス分類 (Hanawa+ 2018)
? 世界知識の自動獲得
? Wikipediaからの知識獲得 (Hanawa+ 2017)
? Twitterの投稿からの知識獲得 (Sasaki+ 2017; Sasaki+ 2018)

主張間の暗黙のギャップ (Boltuzic+ 2016)
Legalized marijuana can be controlled and regulated by the government.
If something is not taxed, criminals sell it.
Things that are taxed are controlled and regulated by the government.
Criminals should be stopped from selling things.
Marijuana is not taxed, and those who sell it are usually criminals of some sort.
上の主張と同じ立場であることは人間には分かるが，コンピュータには難しい
ギャップを埋める暗黙の前提

主張間のギャップを埋めてみる (Boltuzic+ 2016)
? 主張間のギャップを埋めるデータセットの構築
? 既存のデータセット (Hasan+ 2014) を利用
? 500件の主張対に対して，3人の人間が前提を補完
? 得られた知見
? ギャップの数と主張間の
類似度は負の相関がある
? 補完された前提を利用す
ることで，主張の自動
マッチングの精度が向上
? 人間が補完する前提はバ
ラバラ（右図参照）

Argument reasoning comprehension
(Habernal+ 2018) （ギャップを埋めるタスクを選択式とした）
Russia cannot be a partner.
Russia has the same
objectives of the US.
Russia has the opposite
objectives of the US.
Cooperating with Russia on terrorism ignores Russia’s overall objectives.
理由
(reason)
主張
(claim)
根拠
(warrant)
Russia can be a partner.
? 理由と主張に対して，2つの根拠が与えられる
? どちらの根拠が理由と主張を繋ぐのにふさわしいか選ぶ
? もう一方の根拠は，理由から「反対の主張」を導くとして用意された
? この研究では反対の根拠（AW: alternative warrant）と呼んでいる
R
WAW
C

Argument reasoning comprehension
(Habernal+ 2018)
? データセットの作成
? New York TimesのRoom for Debateを題材
として用いる（右図）
? クラウドソーシングで8個のマイクロタス
クを実行し，データセットを構築
? 1,970件の(C, R, W, AW)を収録
? 人間の正解率（AWではなくWを正しく選
ぶ率）は79.8% (平均的な作業者)，および
90.9% (訓練した作業者)
? WとAWの自動識別実験
? アテンション付きのエンコーダ?デコーダ
モデルによる分類器（右図）
? 正解率は56.0%（人間よりもかなり低い）
? （私見）多様なトピックを右図のようなモ
デルに与えると，過学習しやすい（キー
ワードを覚えこもうとする）
https://www.nytimes.com/roomfordebate/2017/01/19/media-in-the-age-of-trump

我々の取り組み
共同研究者
佐々木彬
リクルートテクノロジーズ
（元?東北大学）
乾健太郎
東北大学
理研AIP
塙一晃
東北大学

タスク: 賛否分類 (Mohammad+ 2016)
? トピックに対するテキストの書き手の賛否を推定
? 賛成 (support, agree, for, pro)
? 反対 (attack, disagree, against, con)
? 中立 (neutral, none, other)
? 議論の的であるトピックに関して，ツイートなどの普
段の投稿から世の中の意見を探ることができる
トピック: 憲法96条の改正
? 憲法96条の改正は当然の流れだ
? 絶対に憲法96条の改正は阻止する
賛成
反対

賛否分析でも世界知識が必要
トピック: 憲法96条の改正
総議員の2/3以上の賛成で発議というのはおかしい
単純過半数で改正できないのは重要なこと
議員の過半数で発動というのは危うすぎる
予測モデル
賛成
反対
トピック
固有の知識
反対
改正後
改正前
トピック
非依存の知識
全トピックに関して賛否の学習
データを作るのは不可能
テーマ固有の知識を新聞
記事やウェブ等から自動
獲得し，議論分析に活用
同意
批判
批判
憲法改正などの国民全体の議論を分析?支援できる技術を確立したい

賛否分類コーパスの構築
(Hanawa+ 2018, submitted)
トピック賛成反対中立
大阪都構想 239 259 380
安保法案 168 352 262
プレミアムフライデー 153 744 218
TPP 53 802 230
原発 47 783 202
集団的自衛権 160 468 196
共謀罪 86 592 308
合計 906 4000 1795
賛否分類において必要な知識 % 意見の例
一般的な賛否表明 56.3 原発は絶対必要（原発: 賛成）
トピックの因果関係 (∈ Wikipedia) 26.3 関税が機能するべき（TPP: 反対）
トピックの因果関係 (? Wikipedia) 13.9 遺伝子組み換え食品とか心配（TPP: 反対）
その他の知識 2.5 治安維持法を復活させたいのか（安保法案: 反対）
? 7トピックに言及しているツイートを
収集し，トピックに賛成／反対／中立
なのかを人手で付与した
? 40.2%の意見表明の賛否を推定するに
は，トピックに関する知識が必要であ
ることが分かった
「消費促進」なんて目的決
められてしまっては、それ
はもう「休み」ではないよ。
プレミアムフライデーに否定的な発言例

Twitterからのトピック間選好知識の獲得
(Sasaki+ 2017)
1.0
1.0
1.0 0.5
0.7
-1.0
-1.0
-0.7
-0.5
ユーザ 1
ユーザ 2
ユーザ 3
ユーザ 4
ト
ピ
ッ
ク
1
ト
ピ
ッ
ク
2
ト
ピ
ッ
ク
3
ト
ピ
ッ
ク
4
～
～
R P
T
×
Q
＝
0.9
0.9
1.0 0.5
0.7
-1.0
-1.0
-0.7
-0.5
R
-0.1
-0.1
-0.1
-0.7
0.3
-0.4
-0.9
^
コーパス（ツイート）ユーザ?トピック行列ユーザベクトルトピックベクトル低ランク近似（欠損値補完）
A good news. http://t.to/......
#TPPhantai
TPP ruins the future of our
country.
............
............
............
A はこの国の未来を破壊
してしまう
A を支持します
A は必要だ
A 万歳
A を導入すべきだ
......
A には反対だ
A は完全に間違っている
A はこの国の未来を破壊
してしまう
......
#TPPhantai
country.
............
............
............
#TPPhantai
country.
............
............
............
これはよいニュースだ．
http://t.to/... #TPP 反対
TPP はこの国の未来を破壊
してしまう．
............
............
............
賛否を表すハッシュタグ付きの
投稿をしたユーザのツイート
A は完全に間違っている
A に
A を導入すべきだ
これは A です
賛否を表明する言語パターンユーザがトピックに関する賛否を
表明する際の言語パターンの候補
行列因子分解
誰がどのトピックに
賛成?反対している
のかを認識する
パターンをスコア
付けして選別する
トピックに関する
賛否のマイニング
賛成
反対賛成?反対を表明
するパターンの抽出
ト
ピ
ッ
ク
1
ト
ピ
ッ
ク
2
ト
ピ
ッ
ク
3
ト
ピ
ッ
ク
4
ユーザ 1
ユーザ 2
ユーザ 3
ユーザ 4
? 個人の意見表明から政治的スペクトル（イデオロギー）を抽出?分析
? 商品推薦の手法に着想を得て「○○に賛成する人は??にも賛成する」を予測

Twitterからのトピック間選好知識の獲得
(Sasaki+ 2017)
? ユーザが明示的に表明していな
い賛否を82-95%の精度で予測
? 学習結果の副産物として，一緒
に賛成／反対されるトピックを
抽出できる（右下）
? サイレント?マジョリティの発
言や行動からトピックへの賛否
を予測する手法に拡張可能
トピック賛否数 (緑:賛成, 赤:反対) 一緒に賛成／反対される別のトピック
薄色の箇所は提案
手法による予測
ユーザが表明している賛否のトピック数
賛
否
予
測
精
度
提案手法
ベースライン
（大勢の賛否に従う）
ユーザの賛否表明数
が多いほど提案手法
の予測精度が向上

トピック間選好知識を活用した賛否分類
(Sasaki+ 2018)
? Sasaki+ (2017) は，トピック間の選好知識をモデル化し
ただけで，ユーザの投稿を活用できてはいない
? Matrix Factorizationの代わりにFactorization Machinesを
用いて，ユーザの投稿とトピック間知識を同時に考慮し
ながら，ユーザの賛否を予測する手法に拡張
レコード１
レコード２
レコード３
レコード４
ユ
ー
ザ
１
ユ
ー
ザ
２
ユ
ー
ザ
３
ユ
ー
ザ
４
大
阪
都
構
想
原
子
力
発
電
所
安
保
法
案
集
団
的
自
衛
権
放
射
能
知
事
自
衛
隊
戦
争
法
案
ベ
ク
レ
ル
日
報
強
行
採
決
……
反対
反対
賛成
賛成
ユーザトピックユーザの投稿内容（単語）

トピック間選好知識を活用した賛否分類
(Sasaki+ 2018)
? 各ユーザのトピックに対する賛否を予測できるか？
? ユーザの投稿を利用することで賛否予測の正解率が向上
? ユーザがより多くのトピックに対して賛否を言及するほど，賛否予測
の性能は向上していく
? 一度も賛否に言及していないユーザ（全体の7割くらい）に
対する賛否予測の正解率は65%程度と推測される

Wikipediaから獲得した促進?抑制関係に基づく賛否分類

Wikipediaから促進?抑制関係知識を獲得
(Hanawa+ 2017)
? 社会問題，災害，病気や症状，イノベーション，政策，金融，エネルギー技術，
生体分子，栄養の9つのカテゴリに属する1,494記事について，促進?抑制などの
因果関係知識を付与したコーパスをクラウドソーシングで構築
? コーパスを深層学習の訓練事例として用い，因果関係の自動抽出器を構築
? 構築したコーパスを公開中: http://www.cl.ecei.tohoku.ac.jp/wikipedia_pro_sup/

促進?抑制関係知識に基づく賛否分類

促進?抑制関係知識に基づく賛否分類
(Hanawa+ 2018, 投稿中)
? 与えられたテキストに促進?抑制関係知識を照合するだけでも，
賛否分類の正解率が若干向上
? アテンションを使って柔軟に知識の照合を行うことで，さらに正
解率が向上
? 促進?抑制関係の知識を自動で獲得した場合でも，正解率の向上
がみられる

まとめと今後の課題
? 議論マイニング
? 議論に特化した文章の談話構造解析
? 単一文書に対する解析の精度は比較的よい
? 複数文書を横断的に解析するには世界知識が必要
? 世界知識を統合した議論マイニングに向けて
? 新しいデータやタスクが提案されている
? 自動獲得した知識で議論マイニングの性能は向上
? 今後の課題: 知識の量?質?活用方法の底上げ
? 具体的なフィールドでの検証?改良

参考文献
? Filip Boltuzic, Jan ?najder. 2016. Fill the gap! Analyzing implicit premises between claims from
online debates. Proc. of ArgMining, pp. 124-133.
? Marie-Francine Moens. 2018. Argumentation mining: How can a machine acquire common sense
and world knowledge? Argument & Computation, 9:1–14.
? Iryna Gurevych, Chris Reed, Noam Slonim, Benno Stein. NLP approaches to computational
argumentation. ACL 2016 tutorial.
? Ivan Habernal, Henning Wachsmuth, Iryna Gurevych, Benno Stein. 2018. The argument reasoning
comprehension task: Identification and reconstruction of implicit warrants. Proc. of NAACL-HLT, pp.
1930-1940.
? Kazuaki Hanawa, Akira Sasaki, Naoaki Okazaki, Kentaro Inui. 2017. A crowdsourcing approach for
annotating causal relation instances inWikipedia. Proc. of PACLIC.
? Kazi Saidul Hasan, Vincent Ng. 2014. Why are you taking this stance? Identifying and classifying
reasons in ideological debates. Proc. of EMNLP, pages 751-762.
? Saif Mohammad, Svetlana Kiritchenko, Parinaz Sobhani, Xiaodan Zhu, Colin Cherry. 2016. Semeval-
2016 task 6: Detecting stance in tweets. Proc. of SemEval, pp. 31-41.
? Patrick Saint-Dizier. 2016. Challenges of argument mining: Generating an argument synthesis
based on the qualia structure. Proc. of INLG, pp. 79-83.
? Akira Sasaki, Kazuaki Hanawa, Naoaki Okazaki, Kentaro Inui. 2017. Other topics you may also
agree or disagree: Modeling inter-topic preferences using tweets and matrix factorization. Proc. of
ACL, pp. 398-408.
? Akira Sasaki, Kazuaki Hanawa, Naoaki Okazaki, Kentaro Inui. 2017. Predicting stances from social
media posts using factorization machines. Proc. of Coling, (to appear).
? Christian Stab, Iryna Gurevych. 2017. Parsing argumentation structures in persuasive essays.
Computational Linguistics, 43(3):619-659.

狠狠撸

自然言语処理による议论マイニング

Recommended

More Related Content

What's hot (20)

Similar to 自然言语処理による议论マイニング (20)

More from Naoaki Okazaki (11)

Recently uploaded (8)

自然言语処理による议论マイニング