Transformer中解码器decoder的详细讲解（图文解释）

最新推荐文章于 2025-07-10 08:42:33 发布
最新推荐文章于 2025-07-10 08:42:33 发布
阅读量9.2k 收藏 119
点赞数 93
CC 4.0 BY-SA版权
分类专栏： Transformer 文章标签： transformer 深度学习 人工智能 chatgpt nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiebaoshayebuhui/article/details/129852444

假设我们想把英语句子i am good翻译成法语句子 Je Vais bein，首先将原句送入编码器，使编码器学习原句，并计算特征值，在上一篇博客中已经讲解了编码器是如何计算原句的特征值的，然后我们把从编码器求得的特征值送入解码器，解码器将特征值作为输入，并生成目标据，流程如下

 在编码器部分，我们了解到可以叠加N个解码器，同理，解码器也可以有N个叠加在一起，编码器将原句的所有特征值作为输入传给所有解码器，而非只给第一个解码器，因此一个解码器将有两个输入，一个是来自前一个解码器的输出，另一个是编码器输出的特征值

接下来我们学习解码器是如何生成目标句子的，当t=1时（t表示时间步）解码器开始工作，生成目标为句子中的第一个词，当t=2时，解码器使用当前的输入和在上一步生成的单词，来预测句子中的下一个单词，以此类推，在每一步中解码器都将上一步生成的单词与输入的词结合起来，并预测下一个单词

一个解码器模块及其所有的组件如下图所示

 从上图中可以看到，解码器内部有三个子层，分别是

1：带掩码的多头注意力层

2：多头注意力层

3：前馈网络层

与编码器模块相似，解码器模块也有多头注意力层和前馈网络层，但多了带掩码的多头注意力层，下面对它们一一进行讲解

一、带掩码的多头注意力层

 以英法翻译任务为例，假设训练数据集样

最低0.47元/天 解锁文章

200万优质内容无限畅学
Transformer 工作原理图文详解和实践：在生成式对话系统中的核心技术剖析
AI天才研究院
04-04 821
生成式对话系统是自然语言处理领域的一个重要研究方向,它旨在通过机器学习的方式,让计算机能够自动生成人类可读的、连贯有意义的对话回复。在过去的几年里,基于深度学习的生成式对话系统取得了长足的进步,其中Transformer模型凭借其强大的序列建模能力,在生成式对话系统中发挥了关键作用。
​​Transformer解码器层深度解剖：数学公式 + 动态数据流图​
聚客AI官方CSDN博客
06-13 1049
本文深入剖析Transformer解码器的核心机制，通过数学原理、可视化图解和完整代码实现，详细讲解掩码自注意力和编码器-解码器注意力的工作原理及其在序列生成任务中的应用。
深度学习入门--Transformer中的Decoder详解
qq_15534667的博客
05-02 1万+
Transformer中的Decoder详解DecoderDecoder结构Masked训练与推断实现代码 Decoder 在上一节中，我们学习了Encoder的结果及实现代码： Transformer中的Encoder详解：Multi-Head-Attention及Feed-Forward 在这一节中，我们将学习Transformer剩余的部分：Decoder Decoder结构 DecoderDecoderDecoder的结构和EncoderEncoderEncoder类似，但是相较于EncoderE
【Transformer】Transformer 中的解码器：文本生成的魔术师
最新发布
qq_41466440的博客
07-10 67
模块作用防止看到未来 token对齐编码器的信息FFN增强每个 token 表达能力LayerNorm + 残差稳定训练，防止梯度消失堆叠结构逐层提升生成能力可以说，Transformer 的解码器层，就是大语言模型得以顺畅“说话”的秘密所在。如果没有它，我们今天就不会有 ChatGPT、Gemini 甚至是多模态 Sora 的流畅自然输出。
Transformer系列：图文详解Decoder解码器原理
2401_85375186的博客
08-08 8535
理解Transformer的解码器首先要了解Encoder-Decoder框架。在原论文中Transformer用于解决机器翻译任务，机器翻译这种Seq2Seq问题通常以Encoder-Decoder框架来解决，Transformer的网络结构也是基于encoder-decoder框架设计的。这种框架的模型分为两部分编码器Encoder和解码器Decoder，编码器负责将原文本数据编码为中间状态向量，该状态向量传递给解码器生成输出。示意图如下。
一文搞懂Transformer解码器（图文详解）
2402_82802238的博客
04-15 8623
本系列文章致力于用最简单的语言讲解Transformer架构，帮助朋友们理解它的强大，本文是第七篇：Transformer解码器图文详解。
一文搞懂Transformer-decoder
lbr15660656263的博客
06-29 3934
每个步骤的输出都会在下一个时间步骤中被传递给底层解码器，解码器们会像编码器一样层层传递解码结果，并且，就像我们对编码器输入所做的那样，我们对这些解码器输入进行嵌入和添加位置编码，以指示每个单词的位置。在这里，引入了两个新的token，分别是<|im_start|>和<|im_end|>，此外，解码器一次只能接受一个token作为输入，也就是说，<|im_start|>会被作为一个输入，而"太”就是下一个预测token。根据我们的计算，解码器预测的单词是"太"，它的Token是8192和103。
Transformer解码器部分实现
weixin_46556352的博客
04-27 866
解码器部分实现
Transformer Decoder详解
To be a better man
05-24 5726
这两天在学习Transformer，看了李沐的论文解读和NLP从入门到放弃，看完这两个视频算是大致明白了Transformer的结构。 关于Self-Attention、Multi-Head Attention以及Poisitonal Encoding强烈建议看一下这篇文章：详解Transformer中Self-Attention以及Multi-Head Attention 但是对于Decoder部分，依然是有点模糊，不知道Decoder的输入到底是什么，也不知道Decoder到底是不是并行计算，还有E
基于Transformer的编码器-解码器图像描述模型在AMD GPU上的应用
数字人生
12-05 1552
本博客介绍了图像字幕生成，这是一项高度应用的序列到序列任务，用于为给定图像生成文字字幕。博客提供了三个基于Transformer的编码器-解码器图像字幕生成模型的实践教程：ViT-GPT2、BLIP和Alpha-CLIP，展示了如何在使用ROCm的AMD GPU上部署这些模型，并自动为给定的输入图像生成相关的输出文字字幕。
Transformer 模型图文详解
AI全栈 和 IT 编程相关分享
08-02 8480
Transformer 架构是 google 在 2017 年的 《Attention Is All You Need》 论文中提出，在 NLP 的多个任务上取得了非常好的效果，可以说目前 NLP 发展都离不开transformer。最大特点是抛弃了传统的 CNN 和 RNN，整个网络结构完全是由Attention 机制组成。
Transformer中的Encoder、Decoder
01-06
一、Transformer博客推荐 Transformer源于谷歌公司2017年发表的文章Attention is all you need,Jay Alammar在博客上对文章做了很好的总结： 英文版：The Illustrated Transformer CSDN上又博主（于建民）对其进行了很好的中文翻译： 中文版：The Illustrated Transformer【译】 Google AI blog写的一篇简述可以作为科普文： Transformer: A Novel Neural Network Architecture for Language Understanding 李宏毅
Transformer 中的 Decoder 机制
实力派，无需多言！
11-07 3946
目标序列 [tensor([1., 1., 1.]), tensor([1., 1., 1., 1., 1.])]# 特征序列 [tensor([1., 1.]), tensor([1., 1., 1., 1.])]# 目标序列和特征序列之间的长度不一样，需要将原序列中和目标序列中padding后的元素mask掉。# 有效特征序列[2,4]==>[2,4,1], 有效目标序列[2,5]==>[2,5,1]# 维度扩充[seq_len,seq_len]==>[1,seq_len,seq_len]
Transformer Decoder
weixin_42418688的博客
11-15 1万+
本文主要讲解Transformer中的Decoder部分，后续其他部分会逐渐补充 首先，我们先定义几个常用的变量（以翻译为例）： emb_dim:表示词嵌入的维度 input_length:表示输入单词的个数 target_length:表示翻译出单词的个数 + 1，为什么会加1会在后面详细说明 vocab_size:表示所有单词的总个数，其实就是词库的意思 本文主要从以下三个方面进行介绍： 1.transformer主要解决的的问题 2.信息在transformer中的流动 3.Deco
Transformer之Decoder
weixin_40280870的博客
01-18 1586
在开始处理输入序列之前，模型对输出嵌入进行一个位置，确保在训练阶段，解码器内的每个符号都能正确地获取之前生成符号的上下文信息。仿照编码器的设计，模型将，以此保留符号的序列顺序信息。解码器利用带掩码的多头自注意力机制，专注于输入序列的相关片段以及之前产生的符号。在训练过程中，通过，确保每个符号仅能参考其之前的符号。除了外，解码器还融合了，这使得解码器能够聚焦于输入序列的重要部分，进而生成受输入语境影响的输出符号。在自注意力层之后，解码器对每个符号独立施加。
深入理解深度学习——Transformer：解码器（Decoder）部分
热门推荐
冯·诺依曼
06-15 1万+
因此，一个解码器（第一个除外）将有两个输入：一个是来自前一个解码器的输出，另一个是编码器输出的特征值。同理，我们也不是将输入直接送入解码器，而是将其转换为嵌入矩阵，为其添加位置编码，然后再送入解码器。，我们将输入转换为嵌入（我们称之为嵌入值输出，因为这里计算的是解码器在以前的步骤中生成的词的嵌入），将位置编码加入其中，然后将其送入解码器。这编码器中的多头注意力层的工作原理相似，但有一点不同，具体的原理可以参考《一旦解码器学习了目标句的特征，我们就将顶层解码器的输出送入线性层和Softmax层，如下图所示。
【Transformer】解码器（Decoder）
彬彬侠的博客
02-15 1614
在Transformer架构中，解码器（Decoder）的作用是根据编码器的输出生成最终的预测结果。解码器和编码器一样，使用了自注意力机制，但与编码器不同的是，解码器还需要考虑到当前时刻生成的目标词。在生成时，解码器要根据当前词及之前的生成词来输出下一个词。Transformer的解码器由多个相同的解码器层堆叠而成，每个解码器层由三个主要部分组成：自注意力机制（Self-Attention）编码器-解码器注意力机制（Encoder-Decoder Attention）前馈神经网络（Feed-Forward
5分钟理解transformer中的decoder
xiufan1的博客
01-19 9019
transformer中decoder和encoder是非常像的。 先假设decoder是一个独立的块，研究它的输入和输出。 一、Autoregressive（自回归） 如果把decoder当成一个黑匣子，这个黑匣子先接受一个特殊符号begin，说明预测开始，第一个输出的字符为“机”，那么A再输入进decoder在输出"器"，以此类推。在最后的时候用另一个特殊符号end结尾。这样把输出当成输入的学习称为AT（自回归）。 二、ATvsNAT 非自回归，顾名思义，输入不再是上一时刻的输出。那么这时候就会引.
transformer decoder 输入
09-06
在Transformer模型的解码器部分，每个解码器有两个输入。第一个输入是来自前一个解码器的输出，第二个输入是编码器输出的特征值。通过将这两个输入传递给解码器的多头注意力层，解码器可以生成目标句子。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Transformer中解码器decoder的详细讲解（图文解释）](https://blog.csdn.net/jiebaoshayebuhui/article/details/129852444)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

showswoller

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值