自然语言处理之文本生成：Transformer：Transformer解码器详解

本系列文章致力于用最简单的语言讲解Transformer架构，帮助朋友们理解它的强大，本文是第七篇：Transformer解码器图文详解。

在Transformer架构中，解码器（Decoder）的作用是根据编码器的输出生成最终的预测结果。解码器和编码器一样，使用了自注意力机制，但与编码器不同的是，解码器还需要考虑到当前时刻生成的目标词。在生成时，解码器要根据当前词及之前的生成词来输出下一个词。Transformer的解码器由多个相同的解码器层堆叠而成，每个解码器层由三个主要部分组成：自注意力机制（Self-Attention）编码器-解码器注意力机制（Encoder-Decoder Attention）前馈神经网络（Feed-Forward

基于Transformer的神经机器翻译实战教程 Transformer模型自2017年提出以来，已成为自然语言处理领域最重要的架构之一。本教程将详细介绍如何使用Transformer模型实现法语到英语的神经机器翻译任务。 1. Transformer模型概述 Transformer模型完全基于注意力机制，摒弃了传统的循环神经网络和卷积神经网络结构。其核心优势在于： 并行计算能力强，训练效率高 ...

理解Transformer的解码器首先要了解Encoder-Decoder框架。在原论文中Transformer用于解决机器翻译任务，机器翻译这种Seq2Seq问题通常以Encoder-Decoder框架来解决，Transformer的网络结构也是基于encoder-decoder框架设计的。这种框架的模型分为两部分编码器Encoder和解码器Decoder，编码器负责将原文本数据编码为中间状态向量，该状态向量传递给解码器生成输出。示意图如下。

解码器部分实现

解码器的作用：根据编码器的结果以及上一次预测的结果,对下一次可能出现的值进行特征表示。使最后一维的向量中的数字缩放到0-1的概率值域内,并满足他们的和为1。通过对上一步的线性变化得到指定维度的输出,也就是转换维度的作用,测试代码放到最后代码。

Transformer模型通过其独特的自注意力机制，实现了高效并行的序列处理，成为自然语言处理领域的重要工具。在文本生成任务中，Transformer模型能够生成高质量的文本，展现出其强大的语言理解和生成能力。通过上述代码示例，我们可以更深入地理解Transformer模型的工作原理和应用方式。文本摘要生成是自然语言处理中的一项重要任务，旨在从长篇文章中提取或生成简短的摘要，保留文章的主要信息。使用Transformer模型进行文本摘要，可以捕捉到文本的长距离依赖关系，生成连贯且信息丰富的摘要。

序列模型是处理序列数据的一种模型，它能够捕捉数据中的时序依赖关系。在NLP中，常见的序列模型有循环神经网络（Recurrent Neural Network, RNN）、长短时记忆网络（Long Short-Term Memory, LSTM）和门控循环单元（Gated Recurrent Unit, GRU）等。Transformer模型是自然语言处理领域的一个重要突破，由Vaswani等人在2017年的论文《Attention is All You Need》中提出。

中，输出的形状是（batch_size, 1, num_hiddens），因为输出的形状是和query的形状相同的。最后在step2的纵向方向上进行传播，得到step2的输出，依次类推，得到整个预测阶段每一个时间步上的词元，将各时间步上的词元进行拼接，便得到了预测出的序列。训练阶段的Transformer是比较简单的，需要注意的是编解码器连接的地方，这里用红线表示，编码器的状态会被依次传递给。然后，该向量与多头注意力机制上一步（step1）中的向量在时间维度上做拼接，拼接后的向量作为注意力机制中的键值对。

假设我们想把英语句子I am good（原句）翻译成法语句子Je vais bien（目标句）。首先，将原句I am good送入编码器，使编码器学习原句，并计算特征值。在前文中，我们学习了编码器是如何计算原句的特征值的。然后，我们把从编码器求得的特征值送入解码器。解码器将特征值作为输入，并生成目标句Je vais bien，如图1-35所示。图1-35　Transformer的编码器和解码器在编码器部分，我们了解到可以NNN叠加个编码器。同理，解码器也可以有NNN个叠加在一起。为简化说明，我们设定N=2N

Transformer 详解 首先，我们从宏观的视角开始讲一下 Transformer。 编码器 (encoder) 注意力机制 查询向量、键向量和值向量 矩阵运算实现自注意力机制 多头注意力 位置编码表示序列的顺序(positional embedding) 残差模块 层-归一化步骤：https://arxiv.org/abs/1607.06450 解码机(decoder) 在完成编码阶段后，则开始解码阶段。解码阶段的每个步骤都会输出一个输出序列（在这个例

Transformer 详解（下）解码器文本嵌入层位置编码层多头自注意力机制多头注意力机制规范化层前馈全连接层输出层代码实现Transformer 论文： Attention is All You Need 在上一篇博客，笔者简述了编码器部分的理论并用pytorch实现了编码器部分的代码。 此篇博客便是承接上文，继续讲述Transformer模型中解码器的代码实现。 其实编码器和解码器模型的部分层都是相同的，例如规范化层，多头注意力机制，前馈全连接层等。 只是解码器比编码器子层连接结构中多了一个多头自注意力

因此，一个解码器（第一个除外）将有两个输入：一个是来自前一个解码器的输出，另一个是编码器输出的特征值。同理，我们也不是将输入直接送入解码器，而是将其转换为嵌入矩阵，为其添加位置编码，然后再送入解码器。，我们将输入转换为嵌入（我们称之为嵌入值输出，因为这里计算的是解码器在以前的步骤中生成的词的嵌入），将位置编码加入其中，然后将其送入解码器。这编码器中的多头注意力层的工作原理相似，但有一点不同，具体的原理可以参考《一旦解码器学习了目标句的特征，我们就将顶层解码器的输出送入线性层和Softmax层，如下图所示。

基于 transformer 的编码器-解码器模型是 表征学习 和 模型架构 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 博文。此外，建议读者对 自注意力 (self-attention) 架构 有一个基本了解，可以阅读 Jay Alammar 的 这篇博文 复习一下原始 transform...

Transformer中解码器decoder的详细讲解（图文解释）

原文：https://medium.com/dissecting-bert/dissecting-bert-part-1-d3c3d495cdb3 A meaningful representation of the input, you mustencode This is Pa...