読解支援7 17
- 1. Kishore Papineni, Salim Roukos, Todd Ward, Wei-Jing Zhu 発表者：塩田健人
- 2. u?? どんな問題を解いたか u?? 自動で機械翻訳の結果を評価する手法 u?? 安価で、早い評価ができ、言語に依存すること無く人間の 評価に準ずる自動評価法 u?? どのようにして解いたか u?? 人間の翻訳とどれだけ似ているか u?? 評価基準に従って、数値で表す
- 3. u?? 考え方 u?? MT訳とプロの翻訳者による翻訳が似ていれば似ているほど、 そのMT 訳は良いだろう u??自動評価に必要なもの u??“人間による質の高い翻訳”のコーパス
- 4. u?? Candidate１ u?? It is a guide to action which ensures that the military always obeys the commands of the party. u?? Candidate2 u?? It is to insure the troops forever hearing the activity guidebook that party direct. u?? Reference 1 u?? It is a guide to action that ensures that the military will forever heed party commands. u?? Reference 2 u?? It is the guiding principle which guarantees the military forces always being under the command of the party. u?? Reference 3 u?? It is the practical guide for the army always to heed the directions of the party.
- 5. u?? Precision: 候補と正解データとのユニグラム類似度 u?? MTシステムは手頃な語を多様しがちであるため、全く関 係のない文でもPrecisionが高く出てしまう u?? modified unigram precision ??? 多様されている語があったら、その語はないものとして考える u?? 例 u?? Candidate: the the the the the the the. u?? Reference 1: The cat is on the mat. u?? Reference 2: There is a cat on the mat. u?? MT訳は the のみからなりthe はReference 1とReference 2の双 方に出現しているため上記定義だと 1gram精度 = !? 7 7
- 6. u?? Pn = Σngram ある参照訳での ngram の共有数の最大値 MT訳中のngram数 u?? Candidate: the the the the the the the. u?? Reference 1: The cat is on the mat. u?? Reference 2: There is a cat on the mat. u?? P1= u?? P2= 0 2 7
- 8. u?? Referenceよりも長いCandidateの場合 u?? 共有n-gram数は、Referenceにあるn-gram数を越えない u?? Referenceよりも長いCandidateは,Pnが小さくなる u?? Referenceよりも短いCandidateの場合 u?? 短いCandidateのn-gram precisionは高くなってしまう u?? Candidate u?? of the u?? Reference u?? It is a guide to action that ensures that the military will forever heed Party commands. u?? It is the guiding principle which guarantees the military forces always being under the command of the party. u?? It is the practical guide for the army always to heed the directions of the party.
- 9. u?? MT訳の長さとコーパス中の文長 (単語数)の比較 u?? コーパス全体で長さを計算し、文の長さの違いにあまり影響されないようにする u?? c = ΣMT訳MT訳の長さ u?? r = Σreferenceの集合Reference中で対応するMT訳に近い長さ