机器翻译基础与模型 之一： 基于RNN的模型

一、机器翻译发展历程

基于规则的-->基于实例的-->基于统计方法的-->基于神经网络的

传统统计机器翻译把词序列看作离散空间里的由多个特征函数描述的点，类似
于 n-gram 语言模型，这类模型对数据稀疏问题非常敏感。神经机器翻译把文字序列表示为实数向量，一方面避免了特征工程繁重的工作，另一方面使得系统可以对文字序列的“表示”进行学习。

神经网络模型在机器翻译上的实践发展：

CNN/RNN：存在梯度消失问题

LSTM：seq2seq学习的方法，缓解了梯度消失/爆炸问题，通过遗忘门的设计让网络选择性的记忆信息，缓解了序列中长距离依赖的问题。但句子越长损失的信息越多，模型无法对输入和输出序列的对齐进行建模，不能有效保证翻译质量。

注意力机制：可以有效地处理长句子的翻译，而且注意力的中间结果具有一定的可解释性。但模型计算量很大。

GNMT系统：google发布的基于多层RNN的方法。

Transformer：完全摒弃了RNN和CNN，仅通过多头注意力机制和前馈神经网络的框架。解决了长距离依赖的问题，训练速度快，翻译效果更好。

二、基于RNN的模型

2.1 编码器-解码器

2.1.1 框架结构

编码器将输入的文字序列通过某种转换变为一种新的“表示”形式。解码器把这种“表示”重新转换为输出的文字序列。其中的核心问题是表示学习。