?? ??? Neural Machine Translation
11 likes3,976 views
? 27? ?? ? ??? ???? ???? ???? ??? ????? Neural Machine Translation ??? ?????. ?? : ????? ???, ????? ???, ???, ???
![? ? ?? ? ??? ???? ???? ??? ?27 (2015 )
??1.
????? ???? ???? ??? ?? ????
?? ???? ?? ???? ???? ???? ???
?? ????? ??? ??? ??? ?, End-to-end
??? ???? ?Neural Machine Translation (NMT)
?? ???? ?? ???? ?? ??? ??? ??-
??? ?? ??? ??? ??? ?? ?[1][2]. NMT
? ??? ?? ??? ?? ?? ?? ??(Encoding)
? ?? ??? ?? ?? ?? ????? ?(Decoding)
??? ??? ?? ???? ?????? ????,
?? ?? ??? ???? ? ??? ?? ?? ???
??? ??? ??? ??? ????.
??? ???? ???NMT Statistical Machine
??? ??? ??? ?? ???Translation (SMT)
??? ? ??? ??? ???? ?? ??. , NMT
?? ???? ???? ???(Domain Knowledge) . SMT
? ?? ? ???? ???Feature Engineering ,
?? ???? ??? ???? ?Feature Engineering
?? ?? ???? ??? ? ?? ??? ?? ?. NMT
? ???? ??? ??? ?? ???? ??????
??? ??? ?? ???? ???? ?? ? ??.
? ??? ?? ?? ??? ???? ? ???, NMT ,
?? ?? ??? ????? ?? ???? ?? ??
?? ???? ??? ? ?? ??. SMT (Word
? ?????? ?? ???? ?? ???Alignment) ,
?????? ?? ???? ????? ? ?, Feature
? ??? ? ?????? ?? ????? ?(Weight)
? ???? ???? ?? ? ??? ??? ?. , NMT
??? ??? ???? ???? ??? ? ??. SMT
?? ?? ?? ?? ???? ???? ?? ???,
??? ??? ??? ???? ???? ??? ??,
?? ?????? ????? ??? ??? ????.
??? ??? ?? ??? ??NMT (Target
? ??? ???? ?? ? ???? ??Vocabulary)
? ???? ??? ?? ?? ??? ??? ??? ?
??? ??? ?? ?? ?? ??? ?? ???. , [1]
?? ??? ??? ???? ?? ??? ???15,000
?? ??? ???? ?? ??? ????, [2] 30,000
?????? ? ?? ?? ??? ???? ?? ??,
? ??? ????? ??? ?? ?? ??UNK . NMT
??? ???? ??? ??? ?? ??? ????
? ??? ?? ???? ?? ??. [3] (Word
? ???? ?? ??? ?? ???Alignment)
??? ?? ?? ??? ??Out-of-vocabulary(OOV)
?? ??? ???? ? ?? ?? ???OOV , NMT
??? ???? ?? ??? ??? ?? ???UNK (
?? ?? ???? ???? ??? ?? ?) OOV UNK
? ??? ??? ?? ??? ???(Post-processing)
????? ??? ??? ??? ????? ??. [4]
??? ???? ?? ?? ??? ?????Softmax
???? ??? ??? ????Importance Sampling
?? ?? ???? ? ?? ???? ? ??? ?, - - 50
?? ???? ?? ??? ??? ???.
? ????? ??? ?? ?? ??? ?? ?NMT
? ??? ???? ??? ?? ??? ?? ??? ?
?? ??? Neural Machine Translation
???O
, ??? ??? ???, ,
?????O
??? ??,
leeck@kangwon.ac.kr, {jun.seok, hg.lee, jaesong.lee}@navercorp.com
Character-Level Neural Machine Translation
Changki Lee
O
, Junseok Kim, Hyoung-Gyu Lee, Jaesong Lee
Kangwon National University
O
, NAVER LABS
? ?
??? ?? ??? ???? ???? ??? ????Neural Machine Translation (NMT) End-to-end
??? ??? ??? ??? ?? ??? ???, Statistical Machine Translation (SMT) , Feature
? ?? ??? ?? ?? ? ?? ??? ??? ?? ????? ???? ???? ??Engineering ,
? ????? ??? ?? ??? ??? ?? ?? ?? ? ??? ????. NMT (Target Vocabulary)
?? ? ???? ??? ???? ??? ?? ?? ??? ??? ??? ???? ??? ?? ? ?.
???? ??? ?? ?? ??? ?? ?? ??? ???? ??? ?? ??? ?? ??? ?NMT ,
? ?? ??? ?? ??? ?? ?? ??? ???? ?? ??? ?(Encoding) (Character) (Decoding) .
? ??? ???? ?? ??? ?? ?? ??? ?? ??? ??? ? ?? ?? ?? ???NMT
??? ???? ?? ??? ?? ??? ???? ?? ? ??? ??? ?Out-of-vocabulary(OOV)
??? ?? ?? ?? ? ???? ??? ??? ?? ??? ? ??? ??? ?????? ???. , - -
?? ??? ???? ??? ??? ???NMT .
??? ????: Neural Machine Translation, , Statistical Machine Translation, Deep Learning](https://image.slidesharecdn.com/27hclt-151021080437-lva1-app6892/85/Neural-Machine-Translation-1-320.jpg)
![? ? ?? ? ??? ???? ???? ??? ?27 (2015 )
? ?? ??? ?? ??? ???? ??(Character)
? ???? ?? ??? ?? ??? ???? ??.
??? ?? ?? ??? ?? ??? ??? ? ?NMT
? ?? ?? ??? ??? ???? ?? ???OOV
?? ??? ???? ?? ? ??? ??? ????
??? ??? ?? ?? ? ???? ??? ???.
??? ??? ??? ?? ?? ??? ??? ?NMT
??? ???? ?? ?? ???, (Post-processing)
?? ?? ??.
? ??? ??? ??? ?? ???? ???. 2 NMT
??? ???? ???? ? ???? ???? ??, 3
?? ??? ??? ???? ???? ??? ?NMT , 4 -
?? ????? ??? ??? ?? ??? ?????-
??? ??? ??? ????NMT .
2. Neural Machine Translation
? ?? ????NMT Recurrent Neural Network(RNN)
???? P(y|x ? ?? ????? ???) (x? ?? ?
? ??, y? ?? ?? ?? ?? ? ?? ??), 1 NMT
??? ??? ???? ? ?RNN Encoder-decoder [1].
? ? ?? ?? ??? ??? ?? ??RNN(Encoder)
? ?? ??(Continuous-space Representation) c? ?
?? ??(encoding) :
? ?? ? ????RNN(Decoder) P(y|x ? ????)
? ?? ?? ??? ???? ???. RNN Long Term
? ???? ???Dependency Long Short-Term Memory
? ? ???? ??(LSTM) Gated Recurrent Unit(GRU) ,
???? ??? ???? ??? ??(End-to-end) .
? ?? ??? ??? ?? ??? ?? ?? ???,
??? ?? ????Beam Search P(y|x ? ?? ??)
?? ?? ??? ???.
??? ?? ??? ??? ??RNN Encoder-decoder
? ???? ?? ??? ??? ?? ??? ????
?? ?? ?? ?? ?? ??? ??? ?? ???,
??? ????? ??? ?? ?? ?? ?? ???.
??? ??? ??? ???? ???? ???? ?,
? ?? ??? ???? ??? ??? ????? ?
?? ??? ???? ???? ??? ??.
????? ???? ??? ???RNN Search
? ?? ??? ???? ????Attention mechanism
? ?? ? ??? ???? ????[2]. 2 RNN search .
?? ? ???? ?Bidirectional RNN Forward Network
?? Hidden State Vector Set ? ????
???Backward Network Hidden State Vector Set
? ???? ??? ?? ?? ? ???,
? ??? Context Vector Set
? ????. Attention
? ???? ??? ???Mechanism Context vector ct
? ???? ???? ??? ?? ?? ??(y1,y2
, ,y¡ t-1 ? ??? ???? ??) Hidden State Vector
zt-1? ???? ??? ?? ?? ?? ?? yt? ??
?? ??? ???? ?? ? Context Vector ct?
? ???? ???Attention Weight . Attention Weight
? ???? ??? Feed-Forward Neural Network(FFNN)
? ?? ???(fATT ? ????? ????) , Attention
? ???? ? ??? ?Weight Context Vector Set
? ??? ???(Weighted Sum) Context Vector c
t
?
??? ?? ???:
???? ?? ?? Context Vector c
t
? ???? ?
? Hidden State Vector zt-1? ?? ?? ?? yt-1? ?
??? ??? Hidden State Vector zt? ???? ??
???? ??? ?? ?? yt? ?? ??Beam Search
?? ???? ???. RNN Search Attention
? ???? ?? ??? ? ????Mechanism Context
Vector c
t
? ?? ???? ??? RNN Encoder-decoder
??? ??? ? ?? ?? ??? ?????? ??
??? ??? ? ?? ??, Attention Weight (Word
? ??? ? ?? ??? ??? ?? ??alignment)](https://image.slidesharecdn.com/27hclt-151021080437-lva1-app6892/85/Neural-Machine-Translation-2-320.jpg)
![? ? ?? ? ??? ???? ???? ??? ?27 (2015 )
? ??.
?? ???3. Neural Machine Translation
? ????? ??? ?? ?? ??? ?? ?NMT
? ??? ???? ??? ?? ??? ?? ??? ?
? ?? ??? ?? ??? ??(Encoding) (Character)
?? ?? ?? ??? ???? ?? ?? ?NMT . NMT
?? ?? ?? ??? ??? ???? ?? ??? ?
?? ??? ? ?? ?? ?? ??? ??? ??OOV
?? ?? ? ??? ??? ???? ?? ???, NMT
??? ??? ?? ?? ??? ??? ? ??? ?,
??? ?? ?? ??? ?? ??(Post-Processing)
?? ????? ????? ? ?? ?? ???? ?( )
? ??? ??? ?? ??? ???(Pre-Processing)
? ???? ?? ??? ?? ??? ??? ?? ?.
? ?? ??? ???? ? ?? ??? ?? ??
??? ??? ??(Word Segmentation) ¡®
??? ???? ?? ? ?? ???+Begin/Inside¡¯
?? ? ????? ?? ??? ?, ¡® +Begin/Inside¡¯
????.
?? ??? ??? ??? ??? ????? ??
? ???? ???? ? ??? ?? ??? ?? ?,
?? ?? ??? ???? ???? ?? ?? ? ??
??? ??? ? ????? ?? ??? ?? ???,
????? ??? ? ??? ?? ?? ??? ???
?? ??? ?? ?? ??( 60,527 , 245,111 ).
??? ?? ??? ????? ??? ??????-
? ??? ??? ?? ?? ? ?? ??? ????
??? ???.
??: The/DT details/NNS of/IN the/DT result/NN
were/VBD described/VBN ./.
???: /UN /NCA /PS /NCD /VX½Y¹û Ô”¼š¤½¤Î ¤ò ¤Ë
/VC /VX /OPÓ›¤· ¤¿ ¡£
??? ?? ?? ??¡® +B/I¡¯ : /B /I /B /I½Y ¹û¤½ ¤Î
/B /B /I /B /B /I /B /BÔ” ¼š Ó›¤ò ¤Ë ¤· ¤¿ ¡£
??4.
? ????? ??? ? ? ? ???? ??SMT NMT
? ?? ??? ? ??? ?? ???? ???NMT ,
?? ?ASPEC(Asian Scientific Paper Excerpt Corpus) -
?? ?? ???? JPO(Japan Patent Office) Patent
??? ??? ?????? ???? ? ? ? ? ?- - -
???? ???? ?? ? ????? ??[5]. ASPEC
?? ?? ?? ??? ???? ??? ? ????300
???? ?? ???? ? ???? ?, JPO Patent 100
??? ??.
? ????? ???? ???? ?? ??SMT NMT
???? ?? ???? ???? ?? ?? ??, 100
? ???? ????? ???? ???? ???. SMT
? ???? ?????? ?? ??Moses[6] ,
?? ? ??? ??(Syntax-based) Tree-to-string [7]
? ????? ???? ? ???? ????, MERT [8]
??? ?????? ?? ??? ? ?? ?, Chart [9]
??? ????? ????? ?? ?. Tree-to-string
?? ?? ?? ??? ??? ?? ??? ?? ??
??? ??? ?? ? ?????Berkeley [10] .
???? ?? ? ????NMT RNN search [2]
? ???? ????? ?????? ??Theano[11] ,
? ???? ?? ??? ?? ??Maxout network
? ????? ???ReLU . Stochastic Gradient
? ?????? ?? ?? ?? ??Decent(SGD) , / 200
??? ? ? ????Word Embedding Projection Layer ,
?? ? ????? ?Hidden Layer Unit 1000 , Dropout
???? ???.
?? ??? ?? ??? ?? ??? ??? ???
? ? ???? ??? ?????? ?JUMAN BLEU[12]
? ????? ? ?? ???? ?? ?RIBES[13] . BLEU
? ???? ?? ???? ? ? ?? ??, RIBES BLEU -
???? ?? ?? ??? ? ?? ??? ?? ???
??? ????? ??? ????.
? ? ? ? ??????? ? ??1 - SMT(PB
??? ? ?? ?? ??SMT)[14], SMT (HPB SMT)[9],
SMT( ?? ?? ? ?)[7], NMT, NMT
? ?? ??? ???? ? ?? ??? ? ??. SMT
??? ??? ? ?? ??? ??? ??? ????
???? ???? ?? ??? ??? ??WAT 2014[5]
??? ?? ?? ??? ? ?? ???? ??? ?.
?? ??? ?? ??? ?? ??? ????? ??.
?? ?? ?? ??? ? ?? ????? ??? ??-
?? ??? ?? ?? ??? ???? ?? ?? ??
? ? ?? ???? ??? ???? ???? ?. NMT
???? ?? ??? ???? ???? ???? SMT
? ? ?? ??? ??? ? ?? ??? ?????.
?? ?? ?? ? ??? ?? ?? ? ???NMT NMT
?? ???? ?? ?? ???? ??BLEU 3.36 0.51
?? ??? ??? ???? ??? ??? ??, RIBES
? ??? ?? ?? ?? ??? ??? ?? ??.
? ? ?? ?? ??? ???NMT Re-ranking BLEU 1.46
?? ?? ????? ??? ?? ?? ?. RIBES NMT
?? ?? ??? ??? ??? ??? ?? ?. NMT
? ? ?? ?? ??? ?? ?RNN Attention Mechanism
? ??? ???? ? ???? ?? ??? ? ?, NMT](https://image.slidesharecdn.com/27hclt-151021080437-lva1-app6892/85/Neural-Machine-Translation-3-320.jpg)
![? ? ?? ? ??? ???? ???? ??? ?27 (2015 )
? ??? ???? ?? ?? ?? ?? ??OOV NMT
? ??? ? ? ??.
? ? ? ? ?? ??????? ? ??2 - SMT(PB
??? ? ?? ?? ?? ?SMT), SMT (HPB SMT), NMT
?? ?? ??? ???? ? ? ?? ??? ?? ?. -
??? ????? ???? ???? ??? ????
? ?? ??? ? ?? ??? ??? ? ?? ??SMT
?? ?? ??? ??? ???? ??? ?? ?NMT ,
? ? ?? ?? ?? ?? ??? ??? ?NMT NMT ,
?? ??? ??? ?? ?? ? ? ?NMT Re-ranking
? ?? ?????BLEU 2.16 .
??5.
? ????? ??? ?? ?? ??? ?? ?NMT
? ??? ???? ??? ?? ??? ?? ???,
?? ?? ??? ?? ??? ?(Encoding) (Character)
? ?? ?? ?? ??? ????? ?(Decoding) NMT .
? ?? ?? ?? ??? ?? ??? ? ???, NMT - -
??? ?????? ??? ?? ??? ????NMT
??? ??? ???.
?? ???? ??? ??? ???? ???NMT ,
? ??? ???? ?? ??? ??? ??? ?, NMT
?? ????.
????
[1] Cho, K. et al., ¡°Learning phrase
representations using RNN encoder-decoder for
statistical machine translation,¡± Proceedings
of EMNLP ¡¯14, 2014.
[2] Bahdanau, D. et al., ¡°Neural machine
translation by jointly learning to align and
translate,¡± Proceedings of ICLR¡¯15,
arXiv:1409.0473, 2015.
[3] Luong, M. et al., ¡°Addressing the Rare Word
Problem in Neural Machine Translation,¡±
Proceedings of ACL¡¯15, 2015.
[4] Jean, S. et al., ¡°On Using Very Large Target
Vocabulary for Neural Machine Translation,¡±
Proceedings of ACL¡¯15, 2015.
[5] Nakazawa, T. et al., ¡°Overview of the 1st
workshop on Asian translation,¡±Proceedings of
WAT¡¯14, 2014.
[6] Koehn, P., et al., ¡°Moses: Open source toolkit
for statistical machine translation,¡±
Proceedings of ACL ¡¯07, 2007.
[7] Liu, Y., et al., ¡°Tree-to-string alignment
template for statistical machine translation,¡±
Proceedings of Coling-ACL ¡¯06, 2006.
[8] Och, F. J., "Minimum error rate training in
statistical machine translation." Proceedings of
ACL ¡¯03, 2003.
[9] Chiang, D., "A hierarchical phrase-based model
for statistical machine translation,"
Proceedings of ACL ¡¯05, 2005.
[10] Petrov, S. et al., "Learning Accurate, Compact,
and Interpretable Tree Annotation," Proceedings
of Coling-ACL ¡¯06, 2006.
[11] Bastien, F. et al. ¡°Theano: new features and
speed improvements,¡± Deep Learning and
Unsupervised Feature Learning NIPS 2012
Workshop. 2012.
[12] Papineni, K, et al., "BLEU: a method for
automatic evaluation of machine translation,"
Proceedings of ACL ¡¯02, 2002.
[13] Isozaki, H. et al., ¡°Automatic Evaluation of
Translation Quality for Distant Language
Pairs,¡± Proceedings of EMNLP ¡¯10, 2010.
[14] Koehn, P. et al., "Statistical phrase-based
translation," Proceedings of NAACL-HLT ¡¯03,
2003.
[15] Nakazawa, T. et al., ¡°Overview of the 2nd
workshop on Asian translation,¡±Proceedings of
WAT¡¯15, 2015.](https://image.slidesharecdn.com/27hclt-151021080437-lva1-app6892/85/Neural-Machine-Translation-4-320.jpg)
?? ??? Neural Machine Translation
- 1. ? ? ?? ? ??? ???? ???? ??? ?27 (2015 ) ??1. ????? ???? ???? ??? ?? ???? ?? ???? ?? ???? ???? ???? ??? ?? ????? ??? ??? ??? ?, End-to-end ??? ???? ?Neural Machine Translation (NMT) ?? ???? ?? ???? ?? ??? ??? ??- ??? ?? ??? ??? ??? ?? ?[1][2]. NMT ? ??? ?? ??? ?? ?? ?? ??(Encoding) ? ?? ??? ?? ?? ?? ????? ?(Decoding) ??? ??? ?? ???? ?????? ????, ?? ?? ??? ???? ? ??? ?? ?? ??? ??? ??? ??? ??? ????. ??? ???? ???NMT Statistical Machine ??? ??? ??? ?? ???Translation (SMT) ??? ? ??? ??? ???? ?? ??. , NMT ?? ???? ???? ???(Domain Knowledge) . SMT ? ?? ? ???? ???Feature Engineering , ?? ???? ??? ???? ?Feature Engineering ?? ?? ???? ??? ? ?? ??? ?? ?. NMT ? ???? ??? ??? ?? ???? ?????? ??? ??? ?? ???? ???? ?? ? ??. ? ??? ?? ?? ??? ???? ? ???, NMT , ?? ?? ??? ????? ?? ???? ?? ?? ?? ???? ??? ? ?? ??. SMT (Word ? ?????? ?? ???? ?? ???Alignment) , ?????? ?? ???? ????? ? ?, Feature ? ??? ? ?????? ?? ????? ?(Weight) ? ???? ???? ?? ? ??? ??? ?. , NMT ??? ??? ???? ???? ??? ? ??. SMT ?? ?? ?? ?? ???? ???? ?? ???, ??? ??? ??? ???? ???? ??? ??, ?? ?????? ????? ??? ??? ????. ??? ??? ?? ??? ??NMT (Target ? ??? ???? ?? ? ???? ??Vocabulary) ? ???? ??? ?? ?? ??? ??? ??? ? ??? ??? ?? ?? ?? ??? ?? ???. , [1] ?? ??? ??? ???? ?? ??? ???15,000 ?? ??? ???? ?? ??? ????, [2] 30,000 ?????? ? ?? ?? ??? ???? ?? ??, ? ??? ????? ??? ?? ?? ??UNK . NMT ??? ???? ??? ??? ?? ??? ???? ? ??? ?? ???? ?? ??. [3] (Word ? ???? ?? ??? ?? ???Alignment) ??? ?? ?? ??? ??Out-of-vocabulary(OOV) ?? ??? ???? ? ?? ?? ???OOV , NMT ??? ???? ?? ??? ??? ?? ???UNK ( ?? ?? ???? ???? ??? ?? ?) OOV UNK ? ??? ??? ?? ??? ???(Post-processing) ????? ??? ??? ??? ????? ??. [4] ??? ???? ?? ?? ??? ?????Softmax ???? ??? ??? ????Importance Sampling ?? ?? ???? ? ?? ???? ? ??? ?, - - 50 ?? ???? ?? ??? ??? ???. ? ????? ??? ?? ?? ??? ?? ?NMT ? ??? ???? ??? ?? ??? ?? ??? ? ?? ??? Neural Machine Translation ???O , ??? ??? ???, , ?????O ??? ??, leeck@kangwon.ac.kr, {jun.seok, hg.lee, jaesong.lee}@navercorp.com Character-Level Neural Machine Translation Changki Lee O , Junseok Kim, Hyoung-Gyu Lee, Jaesong Lee Kangwon National University O , NAVER LABS ? ? ??? ?? ??? ???? ???? ??? ????Neural Machine Translation (NMT) End-to-end ??? ??? ??? ??? ?? ??? ???, Statistical Machine Translation (SMT) , Feature ? ?? ??? ?? ?? ? ?? ??? ??? ?? ????? ???? ???? ??Engineering , ? ????? ??? ?? ??? ??? ?? ?? ?? ? ??? ????. NMT (Target Vocabulary) ?? ? ???? ??? ???? ??? ?? ?? ??? ??? ??? ???? ??? ?? ? ?. ???? ??? ?? ?? ??? ?? ?? ??? ???? ??? ?? ??? ?? ??? ?NMT , ? ?? ??? ?? ??? ?? ?? ??? ???? ?? ??? ?(Encoding) (Character) (Decoding) . ? ??? ???? ?? ??? ?? ?? ??? ?? ??? ??? ? ?? ?? ?? ???NMT ??? ???? ?? ??? ?? ??? ???? ?? ? ??? ??? ?Out-of-vocabulary(OOV) ??? ?? ?? ?? ? ???? ??? ??? ?? ??? ? ??? ??? ?????? ???. , - - ?? ??? ???? ??? ??? ???NMT . ??? ????: Neural Machine Translation, , Statistical Machine Translation, Deep Learning
- 2. ? ? ?? ? ??? ???? ???? ??? ?27 (2015 ) ? ?? ??? ?? ??? ???? ??(Character) ? ???? ?? ??? ?? ??? ???? ??. ??? ?? ?? ??? ?? ??? ??? ? ?NMT ? ?? ?? ??? ??? ???? ?? ???OOV ?? ??? ???? ?? ? ??? ??? ???? ??? ??? ?? ?? ? ???? ??? ???. ??? ??? ??? ?? ?? ??? ??? ?NMT ??? ???? ?? ?? ???, (Post-processing) ?? ?? ??. ? ??? ??? ??? ?? ???? ???. 2 NMT ??? ???? ???? ? ???? ???? ??, 3 ?? ??? ??? ???? ???? ??? ?NMT , 4 - ?? ????? ??? ??? ?? ??? ?????- ??? ??? ??? ????NMT . 2. Neural Machine Translation ? ?? ????NMT Recurrent Neural Network(RNN) ???? P(y|x ? ?? ????? ???) (x? ?? ? ? ??, y? ?? ?? ?? ?? ? ?? ??), 1 NMT ??? ??? ???? ? ?RNN Encoder-decoder [1]. ? ? ?? ?? ??? ??? ?? ??RNN(Encoder) ? ?? ??(Continuous-space Representation) c? ? ?? ??(encoding) : ? ?? ? ????RNN(Decoder) P(y|x ? ????) ? ?? ?? ??? ???? ???. RNN Long Term ? ???? ???Dependency Long Short-Term Memory ? ? ???? ??(LSTM) Gated Recurrent Unit(GRU) , ???? ??? ???? ??? ??(End-to-end) . ? ?? ??? ??? ?? ??? ?? ?? ???, ??? ?? ????Beam Search P(y|x ? ?? ??) ?? ?? ??? ???. ??? ?? ??? ??? ??RNN Encoder-decoder ? ???? ?? ??? ??? ?? ??? ???? ?? ?? ?? ?? ?? ??? ??? ?? ???, ??? ????? ??? ?? ?? ?? ?? ???. ??? ??? ??? ???? ???? ???? ?, ? ?? ??? ???? ??? ??? ????? ? ?? ??? ???? ???? ??? ??. ????? ???? ??? ???RNN Search ? ?? ??? ???? ????Attention mechanism ? ?? ? ??? ???? ????[2]. 2 RNN search . ?? ? ???? ?Bidirectional RNN Forward Network ?? Hidden State Vector Set ? ???? ???Backward Network Hidden State Vector Set ? ???? ??? ?? ?? ? ???, ? ??? Context Vector Set ? ????. Attention ? ???? ??? ???Mechanism Context vector ct ? ???? ???? ??? ?? ?? ??(y1,y2 , ,y¡ t-1 ? ??? ???? ??) Hidden State Vector zt-1? ???? ??? ?? ?? ?? ?? yt? ?? ?? ??? ???? ?? ? Context Vector ct? ? ???? ???Attention Weight . Attention Weight ? ???? ??? Feed-Forward Neural Network(FFNN) ? ?? ???(fATT ? ????? ????) , Attention ? ???? ? ??? ?Weight Context Vector Set ? ??? ???(Weighted Sum) Context Vector c t ? ??? ?? ???: ???? ?? ?? Context Vector c t ? ???? ? ? Hidden State Vector zt-1? ?? ?? ?? yt-1? ? ??? ??? Hidden State Vector zt? ???? ?? ???? ??? ?? ?? yt? ?? ??Beam Search ?? ???? ???. RNN Search Attention ? ???? ?? ??? ? ????Mechanism Context Vector c t ? ?? ???? ??? RNN Encoder-decoder ??? ??? ? ?? ?? ??? ?????? ?? ??? ??? ? ?? ??, Attention Weight (Word ? ??? ? ?? ??? ??? ?? ??alignment)
- 3. ? ? ?? ? ??? ???? ???? ??? ?27 (2015 ) ? ??. ?? ???3. Neural Machine Translation ? ????? ??? ?? ?? ??? ?? ?NMT ? ??? ???? ??? ?? ??? ?? ??? ? ? ?? ??? ?? ??? ??(Encoding) (Character) ?? ?? ?? ??? ???? ?? ?? ?NMT . NMT ?? ?? ?? ??? ??? ???? ?? ??? ? ?? ??? ? ?? ?? ?? ??? ??? ??OOV ?? ?? ? ??? ??? ???? ?? ???, NMT ??? ??? ?? ?? ??? ??? ? ??? ?, ??? ?? ?? ??? ?? ??(Post-Processing) ?? ????? ????? ? ?? ?? ???? ?( ) ? ??? ??? ?? ??? ???(Pre-Processing) ? ???? ?? ??? ?? ??? ??? ?? ?. ? ?? ??? ???? ? ?? ??? ?? ?? ??? ??? ??(Word Segmentation) ¡® ??? ???? ?? ? ?? ???+Begin/Inside¡¯ ?? ? ????? ?? ??? ?, ¡® +Begin/Inside¡¯ ????. ?? ??? ??? ??? ??? ????? ?? ? ???? ???? ? ??? ?? ??? ?? ?, ?? ?? ??? ???? ???? ?? ?? ? ?? ??? ??? ? ????? ?? ??? ?? ???, ????? ??? ? ??? ?? ?? ??? ??? ?? ??? ?? ?? ??( 60,527 , 245,111 ). ??? ?? ??? ????? ??? ??????- ? ??? ??? ?? ?? ? ?? ??? ???? ??? ???. ??: The/DT details/NNS of/IN the/DT result/NN were/VBD described/VBN ./. ???: /UN /NCA /PS /NCD /VX½Y¹û Ô”¼š¤½¤Î ¤ò ¤Ë /VC /VX /OPÓ›¤· ¤¿ ¡£ ??? ?? ?? ??¡® +B/I¡¯ : /B /I /B /I½Y ¹û¤½ ¤Î /B /B /I /B /B /I /B /BÔ” ¼š Ó›¤ò ¤Ë ¤· ¤¿ ¡£ ??4. ? ????? ??? ? ? ? ???? ??SMT NMT ? ?? ??? ? ??? ?? ???? ???NMT , ?? ?ASPEC(Asian Scientific Paper Excerpt Corpus) - ?? ?? ???? JPO(Japan Patent Office) Patent ??? ??? ?????? ???? ? ? ? ? ?- - - ???? ???? ?? ? ????? ??[5]. ASPEC ?? ?? ?? ??? ???? ??? ? ????300 ???? ?? ???? ? ???? ?, JPO Patent 100 ??? ??. ? ????? ???? ???? ?? ??SMT NMT ???? ?? ???? ???? ?? ?? ??, 100 ? ???? ????? ???? ???? ???. SMT ? ???? ?????? ?? ??Moses[6] , ?? ? ??? ??(Syntax-based) Tree-to-string [7] ? ????? ???? ? ???? ????, MERT [8] ??? ?????? ?? ??? ? ?? ?, Chart [9] ??? ????? ????? ?? ?. Tree-to-string ?? ?? ?? ??? ??? ?? ??? ?? ?? ??? ??? ?? ? ?????Berkeley [10] . ???? ?? ? ????NMT RNN search [2] ? ???? ????? ?????? ??Theano[11] , ? ???? ?? ??? ?? ??Maxout network ? ????? ???ReLU . Stochastic Gradient ? ?????? ?? ?? ?? ??Decent(SGD) , / 200 ??? ? ? ????Word Embedding Projection Layer , ?? ? ????? ?Hidden Layer Unit 1000 , Dropout ???? ???. ?? ??? ?? ??? ?? ??? ??? ??? ? ? ???? ??? ?????? ?JUMAN BLEU[12] ? ????? ? ?? ???? ?? ?RIBES[13] . BLEU ? ???? ?? ???? ? ? ?? ??, RIBES BLEU - ???? ?? ?? ??? ? ?? ??? ?? ??? ??? ????? ??? ????. ? ? ? ? ??????? ? ??1 - SMT(PB ??? ? ?? ?? ??SMT)[14], SMT (HPB SMT)[9], SMT( ?? ?? ? ?)[7], NMT, NMT ? ?? ??? ???? ? ?? ??? ? ??. SMT ??? ??? ? ?? ??? ??? ??? ???? ???? ???? ?? ??? ??? ??WAT 2014[5] ??? ?? ?? ??? ? ?? ???? ??? ?. ?? ??? ?? ??? ?? ??? ????? ??. ?? ?? ?? ??? ? ?? ????? ??? ??- ?? ??? ?? ?? ??? ???? ?? ?? ?? ? ? ?? ???? ??? ???? ???? ?. NMT ???? ?? ??? ???? ???? ???? SMT ? ? ?? ??? ??? ? ?? ??? ?????. ?? ?? ?? ? ??? ?? ?? ? ???NMT NMT ?? ???? ?? ?? ???? ??BLEU 3.36 0.51 ?? ??? ??? ???? ??? ??? ??, RIBES ? ??? ?? ?? ?? ??? ??? ?? ??. ? ? ?? ?? ??? ???NMT Re-ranking BLEU 1.46 ?? ?? ????? ??? ?? ?? ?. RIBES NMT ?? ?? ??? ??? ??? ??? ?? ?. NMT ? ? ?? ?? ??? ?? ?RNN Attention Mechanism ? ??? ???? ? ???? ?? ??? ? ?, NMT
- 4. ? ? ?? ? ??? ???? ???? ??? ?27 (2015 ) ? ??? ???? ?? ?? ?? ?? ??OOV NMT ? ??? ? ? ??. ? ? ? ? ?? ??????? ? ??2 - SMT(PB ??? ? ?? ?? ?? ?SMT), SMT (HPB SMT), NMT ?? ?? ??? ???? ? ? ?? ??? ?? ?. - ??? ????? ???? ???? ??? ???? ? ?? ??? ? ?? ??? ??? ? ?? ??SMT ?? ?? ??? ??? ???? ??? ?? ?NMT , ? ? ?? ?? ?? ?? ??? ??? ?NMT NMT , ?? ??? ??? ?? ?? ? ? ?NMT Re-ranking ? ?? ?????BLEU 2.16 . ??5. ? ????? ??? ?? ?? ??? ?? ?NMT ? ??? ???? ??? ?? ??? ?? ???, ?? ?? ??? ?? ??? ?(Encoding) (Character) ? ?? ?? ?? ??? ????? ?(Decoding) NMT . ? ?? ?? ?? ??? ?? ??? ? ???, NMT - - ??? ?????? ??? ?? ??? ????NMT ??? ??? ???. ?? ???? ??? ??? ???? ???NMT , ? ??? ???? ?? ??? ??? ??? ?, NMT ?? ????. ???? [1] Cho, K. et al., ¡°Learning phrase representations using RNN encoder-decoder for statistical machine translation,¡± Proceedings of EMNLP ¡¯14, 2014. [2] Bahdanau, D. et al., ¡°Neural machine translation by jointly learning to align and translate,¡± Proceedings of ICLR¡¯15, arXiv:1409.0473, 2015. [3] Luong, M. et al., ¡°Addressing the Rare Word Problem in Neural Machine Translation,¡± Proceedings of ACL¡¯15, 2015. [4] Jean, S. et al., ¡°On Using Very Large Target Vocabulary for Neural Machine Translation,¡± Proceedings of ACL¡¯15, 2015. [5] Nakazawa, T. et al., ¡°Overview of the 1st workshop on Asian translation,¡±Proceedings of WAT¡¯14, 2014. [6] Koehn, P., et al., ¡°Moses: Open source toolkit for statistical machine translation,¡± Proceedings of ACL ¡¯07, 2007. [7] Liu, Y., et al., ¡°Tree-to-string alignment template for statistical machine translation,¡± Proceedings of Coling-ACL ¡¯06, 2006. [8] Och, F. J., "Minimum error rate training in statistical machine translation." Proceedings of ACL ¡¯03, 2003. [9] Chiang, D., "A hierarchical phrase-based model for statistical machine translation," Proceedings of ACL ¡¯05, 2005. [10] Petrov, S. et al., "Learning Accurate, Compact, and Interpretable Tree Annotation," Proceedings of Coling-ACL ¡¯06, 2006. [11] Bastien, F. et al. ¡°Theano: new features and speed improvements,¡± Deep Learning and Unsupervised Feature Learning NIPS 2012 Workshop. 2012. [12] Papineni, K, et al., "BLEU: a method for automatic evaluation of machine translation," Proceedings of ACL ¡¯02, 2002. [13] Isozaki, H. et al., ¡°Automatic Evaluation of Translation Quality for Distant Language Pairs,¡± Proceedings of EMNLP ¡¯10, 2010. [14] Koehn, P. et al., "Statistical phrase-based translation," Proceedings of NAACL-HLT ¡¯03, 2003. [15] Nakazawa, T. et al., ¡°Overview of the 2nd workshop on Asian translation,¡±Proceedings of WAT¡¯15, 2015.