![Background: Attention
? ???? ?, ? について
[Luong et al., 2015]
???? ?, ? = ? ? ?
[Bahdanau et al., 2014]
???? ?, ? = ?1 ? + ?2 ? + ? ?, ? ?????????](https://image.slidesharecdn.com/areaattenttion-181118133059/85/Area-attenttion-4-320.jpg)
![Background: Problem of Attention
? 普通のAttentionの問題点：single item focus
→multi item focusにする
[Vaswani et al., 2017] Multi head attention
? ?
（クエリ側）
? ?
（辞書側） (??, ??)
?
??(?)
??,?(?)
? ?
（クエリ側）
? ?
（辞書側） (??, ??)
?
??(?)
??,?(?)
? ?
（クエリ側）
? ?
（辞書側） (??, ??)
?
??(?)
??,?(?)](https://image.slidesharecdn.com/areaattenttion-181118133059/85/Area-attenttion-6-320.jpg)
![Background: Problem of Attention
? 普通のAttentionの問題点：single item focus
→multi item focusにする
[Pedersoli et al., 2016] areas of attention
画像の部分的な箇所をfocusするattention](https://image.slidesharecdn.com/areaattenttion-181118133059/85/Area-attenttion-7-320.jpg)
![[DL輪読会]Z-Forcing: Training Stochastic Recurrent Networks (NIPS2017)](https://cdn.slidesharecdn.com/ss_thumbnails/180810nonakadlhacks-180810002712-thumbnail.jpg?width=560&fit=bounds)
![[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry](https://cdn.slidesharecdn.com/ss_thumbnails/aa-180330124241-thumbnail.jpg?width=560&fit=bounds)
More Related Content
More from KCS Keio Computer Society (20)
機械学習ゼミ: Area attenttion
- 3. Background: Attention ? 辞書のようなNNを構成し，クエリで(辞書を)引く ? ? （クエリ側） ? ? （辞書側） (??, ??) ? ??(?) ??,?(?) ??：?と??の類似度のようなもの 総和が１（Attention） Attenttion出力 イメージ：ki=qであればviが出てくる辞書を微分可能にした
- 4. Background: Attention ? ???? ?, ? について [Luong et al., 2015] ???? ?, ? = ? ? ? [Bahdanau et al., 2014] ???? ?, ? = ?1 ? + ?2 ? + ? ?, ? ?????????
- 5. Background: Problem of Attention ? 普通のAttentionの問題点：single item focus ? 複数のitemにattentionできないので表現力が制限 ? ? （クエリ側） ? ? （辞書側） (??, ??) ? ??(?) ??,?(?) クエリがq一つ:single item focus
- 6. Background: Problem of Attention ? 普通のAttentionの問題点：single item focus →multi item focusにする [Vaswani et al., 2017] Multi head attention ? ? （クエリ側） ? ? （辞書側） (??, ??) ? ??(?) ??,?(?) ? ? （クエリ側） ? ? （辞書側） (??, ??) ? ??(?) ??,?(?) ? ? （クエリ側） ? ? （辞書側） (??, ??) ? ??(?) ??,?(?)
- 7. Background: Problem of Attention ? 普通のAttentionの問題点：single item focus →multi item focusにする [Pedersoli et al., 2016] areas of attention 画像の部分的な箇所をfocusするattention
- 8. Method (本論文) Multi item focusを導入 ? Single item focus: 要素ひとつひとつが辞書の要素 ? Multi item focus: 要素ひとつひとつ+２つづつ+3つづつ… ? ? （辞書側） h1 h2 h3 hN… ? ? （辞書側） h1 h2 h3 hN… h1と h2 h2と h3 h1と h2と h3 … …
- 10. Experiments: Neural Machine Translation(vs Transformer) BLEU (character level) BLEU (token level)
- 11. Experiments: Neural Machine Translation(vs LSTM) Negative Log likelihood (character level)
- 12. Experiments: Image captioning Test acculary