最先端NLP勉強会 Context Gates for Neural Machine Translation

Sep 13, 2017Download as PPTX, PDF1 like1,101 views

Masahiro Yamamoto

2017年最先端NLP勉強会の資料です。 Context Gates for Neural Machine Translation (TACL2017)

読む人: 慶應義塾大学大学院
山本眞大
Context Gates for
Neural Machine Translation
最先端NLP勉強会
Zhaopeng Tu, Yang Liu, Zhengdong Lu, Xiaohua Liu, Hang Li (TACL2017)
※ 基本的に図表は原論文からの引用です。

概要 1
? NMTにおいて、sourceとtargetのcontextが
adequacyとfluencyにどう影響するかを調査
? sourceのcontext: adequacyに影響
? targetのcontext: fluencyに影響
adequacy: sourceの単語が正確に翻訳できているか
fluency : 単語のつながりの自然さ
? (直感的にも…)
? 内容語を生成する際: sourceのcontextを参照すべき
? 機能語を生成する際: targetのcontextを参照すべき
? 既存のNMT: 各contextを均一に扱う
→ sourceとtargetのcontexｔを動的に参照するための
gate (context gates)を提案

Neural Machine Translation 2
? 翻訳確率
? i番目の単語の生成確率
入力系列出力系列
Encoderの情報Decoderの隠れ層
線形変換を行った後、
sofrmax関数を適用する

Neural Machine Translation 3
? i番目のデコーダの隠れ層
単語ベクトルRNN
target context source context

Source & Target Contextの影響の調査 4
? 目的: sourceとtargetのcontextが
adequacyとfluencyに影響するかを調査
? 方法：デコーダの隠れ層の計算方法を変更
? 一般的な計算方法
? 今回の計算方法
target context source context
スカラー値
スカラー値

Source & Target Contextの影響の調査 5
? 定性的な調査
(a, b) = (1.0, 0.5)
Fluencyが低い
(a, b) = (0.5, 1.0)
Adequacyが低い

Source & Target Contextの影響の調査 6
? 翻訳の長さについての調査
? targetの割合を減少
→ 長い文が生成されやすい
? sourceの割合を減少
→ 短い文が生成されやすい

Source & Target Contextの影響の調査 7
? AdequacyとFluencyに関する調査
? sourceの割合を減少
→ Adequecyが減少
? targetの割合を減少
→ Fluencyが減少
+ Adequecyも減少
なぜ？
?繰り返しによる生成長の限界

Context Gatesを導入したNMT 8
? Context gatesの基本的な構成
? 各contextをどの程度利用するか計算 ( )
? 各context とを要素毎に乗算
? sourceのみ: source
? targetのみ : target
? 両方 : both

Context Gatesを導入したNMT 9
? source: sourceのcontextとを要素毎に乗算
※ 一般的な計算方法
要素積

Context Gatesを導入したNMT 10
? target: targetのcontextとを要素毎に乗算
※ 一般的な計算方法

Context Gatesを導入したNMT 11
? both: 両方のcontextとを要素毎に乗算
※ 一般的な計算方法

実験 12
? 中英翻訳
? LDCコーパス (1.25M 対訳対)
? 実験内容
? 翻訳の質の評価 (BLEU, 主観)
? アライメントの質の評価
? ネットワーク構造の分析
? 文長の影響の調査
? 比較手法
? Moses: SMT
? GroundHog: NMT
? GroundHog-Coverge: 被覆を導入したNMT

実験 13
? 翻訳の質の評価: BLEUによる評価
? #2-4: パラメータを減らしつつ、GRUと同じくらいの性能
? #4-7: 提案手法による性能の向上、bothが一番良い性能
? #1, 8-9: 提案手法による性能の向上、SMTよりも高い性能

実験 14
? 翻訳の質の評価: 主観評価
? ランダム選択した200文を2名の主観で評価
? 出力された2文を見てどちらが良いか判断
? 結果
? Adequacy: 30%良, 52%同じ, 18%悪
? Fluency : 29%良, 52%同じ, 19%悪

実験 15
? アライメントの質の評価
? GroundHogにcontext gateを加えても良くならない
? 被覆の概念を導入したモデルに加えると良くなる
※ 低いほうが良い

実験 17
? ネットワーク構造の分析
? #2-3: 要素積により性能が向上
? #3-4: 両方参照したほうがいい
? #4-5: Encoderの情報を使ったほうがいい
? #5-6: 1個前に生成された単語の情報は有用

実験 18
? 文長の影響の調査
? 長い文についても、GroundHog ほど精度が落ちない

まとめ 19
? 各contextがadequacyとfluencyにどう影響するか調査
? source context: adequacyに影響
? target context : fluencyに影響
? context gateを提案
? 動的に各contextの影響をコントロール可能

スマートリングは，主に决済やスマートロックなどに利用できる便利なウェアラブルデバイスであるが，个人认証机能の搭载例は少なくセキュリティ上の悬念が残されている．心拍数や动作特性を利用する认証では，认証に时间がかかるなどの问题があり，指纹认証や颜认証もデバイスのサイズや消费电力，プライバシーの问题が课题となっている．そこで，我々は测距センサと滨惭鲍センサを搭载した指轮型デバイスを用いることで，スマートリングに搭载可能なほど小型かつ省电力で，カメラ不使用によりプライバシーリスクを低减した颜认証システムを提案する．

ラズパイを使って作品を作ったらラズパイコンテストで碍厂驰赏を貰って、さらに、文化庁メディア芸术祭で审査员推荐作品に选ばれてしまった件?自作チップでラズパイ...Industrial Technology Research Institute (ITRI)(工業技術研究院, 工研院)

LF Decentralized Trust Tokyo Meetup 3LFDT Tokyo Meetup

【卒业论文】尝尝惭を用いた惭耻濒迟颈-础驳别苍迟-顿别产补迟别における反论の効果に関する研究harmonylab

近年の生成 AI の活用の拡大とともに, 大規模言語モデル(LLM)の推論能力の向上や, 人間にとって推論過程が理解しやすい出力を行うように様々な手法が提案されてきた. 本研究では, LLM の推論能力向上手法としての MAD に着目し, 既存の MAD フレームワークに対して人間の議論では一般的に使用される反論を導入することを提案した. 本研究の反論の導入により, フィードバック内容の多様化や推論過程を明確にすることができることを示した.

狈辞诲补滨迟蝉耻办颈冲反省観点の分类に基づく试合の振り返り支援システムに関する有用性検証冲顿贰滨惭2025Matsushita Laboratory

本研究の目的は，チームスポーツの選手が試合後に行う振り返りを支援することである．試合内容を振り返り反省点を認識することは，ミスの繰り返しを防いだり，プレー中の判断精度を向上させたりする上で重要である．しかし，チームスポーツでは，個人の行動だけでなく，展開に応じた位置取りや選手間の連携などチーム全体の状況を意識する必要があり，考慮すべき項目が多く反省点を系統立てて言語化することは容易ではない．そこで，反省内容をタイプ分けし，項目ごとに反省点を言語化できるように支援することで，この解決を試みた．提案システムの有用性を検証するため，選手の動きが複雑化している傾向にあるスポーツであるサッカーを対象とし，サッカー経験者12名を対象に，システムを利用して試合内容を振り返る様子を観察した．その結果，反省観点の提示が反省内容の具体化や，多角的な視点からの反省の促進に寄与することが示唆された．

More Related Content

What's hot (17)

Nl220 Pitman-Yor Hidden Semi Markov ModelKei Uchiumi

トピックモデルの評価指標 Perplexity とは何なのか？hoxo_m

Acl reading 2ndAce12358

闯-尝滨奥颁2015の绍介igarashilab

トピックモデルの評価指標 Coherence 研究まとめ #トピ本hoxo_m

トピックモデルによる統計的潜在意味解析読書会 3.7 評価方法 - 3.9 モデル選択 #トピ本hoxo_m

复数の客観的手法を用いたテキスト含意认识评価セットの构筑长冈技术科学大学　自然言语処理研究室

[Paper Reading] The price of debasing automatic metrics in natural language e...Kazutoshi Shinoda

Summary: A Sense-Based Translation Model for Statistical Machine TranslationHiroshi Matsumoto

Python nlp handson_20220225_v5博三太田

2021年度　人工知能学会全国大会　第35回博三太田

Japan.r 2018 slide ota_20181201博三太田

Sigconf 2019 slide_ota_20191123博三太田

Logics 18th ota_20211201博三太田

対话テキストの自动要约Masahiro Yamamoto

【Schoo web campus】「相手に伝わる」文章を書く技術　2限目schoowebcampus

09 manual writing20130611sample和也高山

Nl220 Pitman-Yor Hidden Semi Markov ModelKei Uchiumi

トピックモデルの評価指標 Perplexity とは何なのか？hoxo_m

Acl reading 2ndAce12358

闯-尝滨奥颁2015の绍介igarashilab

トピックモデルの評価指標 Coherence 研究まとめ #トピ本hoxo_m

トピックモデルによる統計的潜在意味解析読書会 3.7 評価方法 - 3.9 モデル選択 #トピ本hoxo_m

复数の客観的手法を用いたテキスト含意认识评価セットの构筑长冈技术科学大学　自然言语処理研究室

[Paper Reading] The price of debasing automatic metrics in natural language e...Kazutoshi Shinoda

Summary: A Sense-Based Translation Model for Statistical Machine TranslationHiroshi Matsumoto

Python nlp handson_20220225_v5博三太田

2021年度　人工知能学会全国大会　第35回博三太田

Japan.r 2018 slide ota_20181201博三太田

Sigconf 2019 slide_ota_20191123博三太田

Logics 18th ota_20211201博三太田

対话テキストの自动要约Masahiro Yamamoto

【Schoo web campus】「相手に伝わる」文章を書く技術　2限目schoowebcampus

09 manual writing20130611sample和也高山

Recently uploaded (11)

测距センサと滨惭鲍センサを用いた指轮型デバイスにおける颜认証システムの提案sugiuralab

LF Decentralized Trust Tokyo Meetup 3LFDT Tokyo Meetup

【卒业论文】尝尝惭を用いた惭耻濒迟颈-础驳别苍迟-顿别产补迟别における反论の効果に関する研究harmonylab

狈辞诲补滨迟蝉耻办颈冲反省観点の分类に基づく试合の振り返り支援システムに関する有用性検証冲顿贰滨惭2025Matsushita Laboratory

第1回日本理学疗法推论学会学术大会での発表资料（2025年3月2日　高桥可奈恵）Matsushita Laboratory

2025フードテックWeek大阪展示会 - LoRaWANを使った複数ポイント温度管理 by AVNET玉井部長CRI Japan, Inc.

実はアナタの身近にある！？ Linux のチェックポイント／レストア機能 (NTT Tech Conference 2025 発表資料)NTT DATA Technology & Innovation

贬补谤耻办颈厂丑颈苍办补飞补冲尝尝惭を利用した果树农家の経験知の対话的蓄积支援冲诲别颈尘2025Matsushita Laboratory

空间オーディオを用いたヘッドパスワードの提案と音源提示手法の最适化sugiuralab

近年、音声アシスタントやバイタルデータの计测などの机能を搭载したイヤフォン型のウェアラブルデバイスであるヒアラブルデバイスが注目されている。これらの机能を悪用して、他者の个人情报や机密情报に不正にアクセスすることを防ぐために、ヒアラブルデバイス向けの认証システムが必要とされ、多くの研究が进められている。しかし、既存の研究は、生体情报を用いたものが多く、生体情报の変化や保存への悬念などの问题を抱えている。そこで、我々は、空间音响技术とヘッドジェスチャを用いた知识ベースの认証システムを提案する。具体的には、音源の组合せをパスワードとし、空间的に提示される音源をヘッドトラッキングと歯の噛み合わせ音で选択することにより认証を行う。

【卒业论文】深层学习によるログ异常検知モデルを用いたサイバー攻撃検知に関する研究harmonylab

测距センサと滨惭鲍センサを用いた指轮型デバイスにおける颜认証システムの提案sugiuralab

LF Decentralized Trust Tokyo Meetup 3LFDT Tokyo Meetup

【卒业论文】尝尝惭を用いた惭耻濒迟颈-础驳别苍迟-顿别产补迟别における反论の効果に関する研究harmonylab

狈辞诲补滨迟蝉耻办颈冲反省観点の分类に基づく试合の振り返り支援システムに関する有用性検証冲顿贰滨惭2025Matsushita Laboratory

第1回日本理学疗法推论学会学术大会での発表资料（2025年3月2日　高桥可奈恵）Matsushita Laboratory

2025フードテックWeek大阪展示会 - LoRaWANを使った複数ポイント温度管理 by AVNET玉井部長CRI Japan, Inc.

実はアナタの身近にある！？ Linux のチェックポイント／レストア機能 (NTT Tech Conference 2025 発表資料)NTT DATA Technology & Innovation

贬补谤耻办颈厂丑颈苍办补飞补冲尝尝惭を利用した果树农家の経験知の対话的蓄积支援冲诲别颈尘2025Matsushita Laboratory

空间オーディオを用いたヘッドパスワードの提案と音源提示手法の最适化sugiuralab

【卒业论文】深层学习によるログ异常検知モデルを用いたサイバー攻撃検知に関する研究harmonylab

最先端NLP勉強会 Context Gates for Neural Machine Translation

1. 読む人: 慶應義塾大学大学院山本眞大 Context Gates for Neural Machine Translation 最先端NLP勉強会 Zhaopeng Tu, Yang Liu, Zhengdong Lu, Xiaohua Liu, Hang Li (TACL2017) ※ 基本的に図表は原論文からの引用です。

2. 概要 1 ? NMTにおいて、sourceとtargetのcontextが adequacyとfluencyにどう影響するかを調査 ? sourceのcontext: adequacyに影響 ? targetのcontext: fluencyに影響 adequacy: sourceの単語が正確に翻訳できているか fluency : 単語のつながりの自然さ ? (直感的にも…) ? 内容語を生成する際: sourceのcontextを参照すべき ? 機能語を生成する際: targetのcontextを参照すべき ? 既存のNMT: 各contextを均一に扱う → sourceとtargetのcontexｔを動的に参照するための gate (context gates)を提案

3. Neural Machine Translation 2 ? 翻訳確率 ? i番目の単語の生成確率入力系列出力系列 Encoderの情報Decoderの隠れ層線形変換を行った後、 sofrmax関数を適用する

4. Neural Machine Translation 3 ? i番目のデコーダの隠れ層単語ベクトルRNN target context source context

5. Source & Target Contextの影響の調査 4 ? 目的: sourceとtargetのcontextが adequacyとfluencyに影響するかを調査 ? 方法：デコーダの隠れ層の計算方法を変更 ? 一般的な計算方法 ? 今回の計算方法 target context source context スカラー値スカラー値

6. Source & Target Contextの影響の調査 5 ? 定性的な調査 (a, b) = (1.0, 0.5) Fluencyが低い (a, b) = (0.5, 1.0) Adequacyが低い

7. Source & Target Contextの影響の調査 6 ? 翻訳の長さについての調査 ? targetの割合を減少 → 長い文が生成されやすい ? sourceの割合を減少 → 短い文が生成されやすい

8. Source & Target Contextの影響の調査 7 ? AdequacyとFluencyに関する調査 ? sourceの割合を減少 → Adequecyが減少 ? targetの割合を減少 → Fluencyが減少 + Adequecyも減少なぜ？ ?繰り返しによる生成長の限界

9. Context Gatesを導入したNMT 8 ? Context gatesの基本的な構成 ? 各contextをどの程度利用するか計算 ( ) ? 各context とを要素毎に乗算 ? sourceのみ: source ? targetのみ : target ? 両方 : both

10. Context Gatesを導入したNMT 9 ? source: sourceのcontextとを要素毎に乗算 ※ 一般的な計算方法要素積

11. Context Gatesを導入したNMT 10 ? target: targetのcontextとを要素毎に乗算 ※ 一般的な計算方法

12. Context Gatesを導入したNMT 11 ? both: 両方のcontextとを要素毎に乗算 ※ 一般的な計算方法

13. 実験 12 ? 中英翻訳 ? LDCコーパス (1.25M 対訳対) ? 実験内容 ? 翻訳の質の評価 (BLEU, 主観) ? アライメントの質の評価 ? ネットワーク構造の分析 ? 文長の影響の調査 ? 比較手法 ? Moses: SMT ? GroundHog: NMT ? GroundHog-Coverge: 被覆を導入したNMT

14. 実験 13 ? 翻訳の質の評価: BLEUによる評価 ? #2-4: パラメータを減らしつつ、GRUと同じくらいの性能 ? #4-7: 提案手法による性能の向上、bothが一番良い性能 ? #1, 8-9: 提案手法による性能の向上、SMTよりも高い性能

15. 実験 14 ? 翻訳の質の評価: 主観評価 ? ランダム選択した200文を2名の主観で評価 ? 出力された2文を見てどちらが良いか判断 ? 結果 ? Adequacy: 30%良, 52%同じ, 18%悪 ? Fluency : 29%良, 52%同じ, 19%悪

16. 実験 15 ? アライメントの質の評価 ? GroundHogにcontext gateを加えても良くならない ? 被覆の概念を導入したモデルに加えると良くなる ※ 低いほうが良い

17. 実験 16 ? アライメントの質の評価

18. 実験 17 ? ネットワーク構造の分析 ? #2-3: 要素積により性能が向上 ? #3-4: 両方参照したほうがいい ? #4-5: Encoderの情報を使ったほうがいい ? #5-6: 1個前に生成された単語の情報は有用

19. 実験 18 ? 文長の影響の調査 ? 長い文についても、GroundHog ほど精度が落ちない

20. まとめ 19 ? 各contextがadequacyとfluencyにどう影響するか調査 ? source context: adequacyに影響 ? target context : fluencyに影響 ? context gateを提案 ? 動的に各contextの影響をコントロール可能

狠狠撸

最先端NLP勉強会 Context Gates for Neural Machine Translation

Recommended

More Related Content

What's hot (17)

Recently uploaded (11)

最先端NLP勉強会 Context Gates for Neural Machine Translation