Dependency-Based Self-Attention for Transformer Neural Machine Translation

Abstract

本論文では，ニューラル機械翻訳 (NMT) の性能を改善するため，原言語側と目的言語側両方の係り受け関係を捉える dependency-based self-attention を組み込んだ新しい Transformer NMT モデルを提案する．Dependency-based self-attention は linguistically-informed self-attention (LISA) から着想を得ており，各単語のアテンションが係り先の単語となるように，Transformer の self-attention を係り受け関係に基づいた制約を与えて学習させる．LISA は，意味役割付与の性能を改善するため，Transformer エンコーダ向けに設計されているが，本論文では LISA を Transformer NMT に拡張する．具体的には，デコーダ側の dependency-based self-attention を訓練する際に後方の単語に係る係り受け関係をマスクすることで，訓練時と推論時との不整合を解消する．さらに，我々の提案する dependency-based self-attention は，byte pair encoding のようなサブワード単位での演算が可能である．Asian Scientific Paper Excerpt Corpus (ASPEC) の日英・英日翻訳タスクの評価実験により，Dependency-based self-attention を組み込んだ提案モデルは，従来の Transformer NMT モデルと比較して，それぞれ 1.04 ポイント・0.30 ポイント BLEU スコアが上昇することを示す．