论文解读8——Attention Is All You Need

最新推荐文章于 2025-06-19 11:50:35 发布
原创 最新推荐文章于 2025-06-19 11:50:35 发布 · 975 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #神经网络

目录


在这里插入图片描述

在上篇GAT中attention机制功不可没，也是在那篇中发现不是很懂注意力机制背后的运算，于是找了这篇原文，后来发现……其实原文中的attention写的也是云里雾里—_—

推荐b站李宏毅老师讲解的注意力机制，对小白非常友好，听完真的醍醐灌顶，再推荐一篇总结的很到位的attention详解：https://blog.csdn.net/qq_37541097/article/details/117691873
感觉明白了一大半，回头再去看这篇原文，曾经被吃掉的脑子又回来了
没办法真的太菜理解一篇文献还是那么艰难（在努力了）—_—

1、文章贡献

提出了一个完全基于注意力机制的网络结构 transformer 来处理序列相关问题，跟以往不同，没有用到CNN和RNN的结构，将 encoder-decoder 中的循环层替换成了multi-head attention机制，且能够实现并行化操作提高模型效率。

下面就只写一写有关模型结构的理解，其余实验的部分就不讲了

2、attention机制

2.1 self-attention

文中用的是点乘形式的self-attention

  • 假设有2个输入特征 x1 和 x2，通过input embedding转化成向量 a1 和 a2
  • 对a1和a2分别通过Wq、Wk、Wv矩阵线性映射成query、key、value（对应图中q、k、v），其中每个query负责跟其他节点（包括自己）的key值进行匹配（就是相乘得到一个系数）；每个key来被query匹配；每个value代表从a向量中提取的信息
  • 将每个query跟其他节点（包括自己）的key相乘，即计算出其他节点与该节点的重要性系数α
  • 将上步算出的α值除以根号dk后经过softmax得到归一化后的α’ （dk代表向量k的长度，除以dk是防止qk相乘后的值太大输入softmax中会很小）
  • 将每个 α’ 乘上之前提取的特征value求和后便得到论文中写的 self-attention公式
    在这里插入图片描述

2.2 multi-head attention

多头注意力机制主要是通过聚合独立的不同的head来学习信息，和self-attention区别是在生成query后

  • 也是假设有2个输入特征，此外多头的head也以2个为例
  • 在生成query、key、value后，多头注意力机制主要是考虑到不同的线性映射计算出的不同相关性可能会有更好的效果，于是根据head的不同要求数再次分别用k个不同的线性映射生成k个query、k个key、k个value（图上只画了2个）
  • 后面的操作和self-attention类似，对应的qk相乘生成系数α（这里每次考虑的q、k、v下标1、2分开计算，即q11和k11相乘的时候无需考虑q12和k12，因为算的是不同的head）
  • 最后将算出的head拼接起来通过一个线性映射就能得到论文中给出的两行multi-head公式（就这么两行……）
    在这里插入图片描述

3、transformer

模型整体结构是由 encoder 和 decoder 组成

  • 首先考虑 encoder
  • 将输入特征通过input embedding向量化后，通过一个positional encoding进行位置编码（主要是因为模型中没有循环层和卷积层，输入特征之间是并行的，也就没有顺序可言，然而有些序列需要考虑顺序比如语句）
  • 位置编码后的向量通过多头注意力机制，同时加上了残差连接，通过layer norm标准化后作为前馈全连接层的输入
  • 前馈层中加入残差连接后通过layer norm就得到encoder模块的一个输出
  • 其次是decoder
  • decoder结构比encoder多的地方无非是第一个多头机制后的masked以及中间那两层混合输入的多头机制
  • 先说masked，它的作用像是在进行解码的时候遮住了后面顺序的向量，只考虑前面已经出现的特征（因为解码的时候是一个一个输出的，在解前面特征的时候没有办法把后面未解码的部分考虑进来，这和encoder不一样）
  • 再看中间那一块，多头机制输入的三个箭头里，左边两个输入来自encoder的输出，最右边的输入由decoder自己提供（用decoder产生的query来匹配encoder中产生的key和value得到输出）
  • 最后通过线性层和softmax得到decoder模块的输出
    在这里插入图片描述
原创 | Attention is all you need 论文解析（附代码）
数据派THU
12-13 1412
作者：杨金珊审校：陈之炎 本文约4300字，建议阅读8分钟“Attention is all you need”一文在注意力机制的使用方面取得了很大的进步，对Transformer模型做出了重大改进。目前NLP任务中的最著名模型（例如GPT-2或BERT），均由几十个Transformer或它们的变体组成。背景减少顺序算力是扩展神经网络GPU、ByteNet和ConvS2S的基本目标，它们使用卷...
对Attention is all you need 的理解
热门推荐
mijiaoxiaosan的博客
06-14 6万+
对谷歌Attention is all you need 的理解。
Attention is all you need论文解读
最新发布
XD的博客
06-19 834
摘要（149字） Transformer是一种全新的序列转导模型架构，完全基于注意力机制，摒弃了传统的递归和卷积结构。该模型在机器翻译任务中表现优异：在WMT2014英德翻译任务上达到28.4 BLEU，超越此前最佳结果2个BLEU；在英法任务上仅用8GPU训练3.5天即获得41.8 BLEU的state-of-the-art成绩。实验证明Transformer具有更强的并行化能力、更短的训练时间，并能有效推广到其他NLP任务如英语句法分析。其创新性设计为序列建模提供了更高效的解决方案。
论文解读：Attention Is All You Need
weixin_42046845的博客
12-12 5790
谷歌于2017年发布论文《Attention Is All YouNeed》，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为encoder-decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。那么Transorformer可以高度并行的工作，所以在提升翻译性能的同时训练速度也特别快。
论文解读:Attention Is All You Need
夏栀的博客
07-18 2148
论文解读：Attention Is All You Need论文解读：Attention Is All You Need全文摘要译文二、简要信息三、算法模型详解3.1 注意力机制3.2 Position-wise Feed-Forward Networks3.3 位置表征3.4 Transformer 论文解读：Attention Is All You Need   在深度学习领域，绝大多数是以神...
【Transformer系列（3）】 《Attention Is All You Need》论文超详细解读（翻译＋精读）
路人贾的博客
04-17 3万+
transformer开山之作《Attention Is All You Need》论文超详细解读（翻译＋精读）
Tranformer开篇之作Attention Is All You Need 论文阅读理解+代码注释解读
10-13
Transformer模型是深度学习领域的一次重大突破，由Google在2017年提出的论文《Attention is All You Need》中首次提出。这篇论文颠覆了传统的序列建模方式，如RNN（循环神经网络）和CNN（卷积神经网络），将自注意力...
自然语言处理课程论文：《Attention is all you need》复现与解读
m0_64198455的博客
06-25 4315
1.3.1 机器翻译机器翻译是指利用计算机技术将一种语言的文本转换为另一种语言的文本。常见的机器翻译方法包括基于规则的方法、基于统计的方法和基于神经网络的方法。基于规则的方法依赖于语言学规则和词典，而基于统计的方法则通过学习源语言和目标语言之间的对应关系来进行翻译。近年来，基于神经网络的端到端机器翻译方法由于其优秀的性能和灵活性而备受关注。Transformer 模型作为一种基于注意力机制的神经网络结构，已经成为了机器翻译领域的主流方法之一，取得了令人瞩目的翻译效果。
Attention Is All You Need论文
07-04
### Attention Is All You Need 论文解读 #### 摘要（Abstract） 论文提出了Transformer模型，这是一种基于注意力机制的序列到序列学习模型。不同于传统的基于循环神经网络（RNN）或卷积神经网络（CNN）的模型，...
《Attention Is All You Need》核心观点及概念
fofee2020的博客
08-04 1182
在传统的序列到序列模型中，如循环神经网络（RNN）和长短时记忆网络（LSTM），信息的传递是单向的，即从输入序列的第一个元素开始，逐步传递到最后一个元素。这个向量是根据元素的位置信息生成的，可以看作是一种对位置信息的编码。在这个过程中，n-gram精度是一个重要的概念，它指的是翻译结果中连续出现的n个词与参考翻译中的相同n-gram的比例。简单来说，这篇论文之所以厉害，是因为它提出了一种新的、更有效的理解和处理语言的方法，这种方法让机器翻译和语言理解变得更加准确、快速，并且有广泛的应用前景。
《Attention Is All You Need》论文学习
T940842933的博客
07-22 598
记录了学习论文《Attention is all you need》的主要过程，重点对transformer模型架构进行解读
attention is all you need论文解读
12-29
文章为对attention is all you need的论文解读，详细的剖析了该文章的思想。
<<attention is all you need>>速读笔记
anqiu4023的博客
10-08 418
背景 在seq2seq中，一般是有一个encoder 一个decoder ，一般是rnn/cnn 但是rnn 计算缓慢，所以提出了纯用注意力机制来实现编码解码。 模型结构 大部分神经序列转导模型都有一个编码器-解码器结构。这里，编码器映射一个用符号表示的输入序列(x1,...,xn)到一个连续的表示z= (z1,...,zn)。根据z，解码器生成符号的一个输出序列(...
Attention Is All You Need----Transformer 论文解读
qq_39352201的博客
03-22 1131
Attention Is All You Need 论文地址：https://arxiv.org/pdf/1706.03762.pdf 论文源码：https://github.com/pytorch/fairseq [Pytorch版本] https://github.com/tensorflow/models/tree/master/official/nlp/transformer[Tensorflow版本 ] Abstract：现在大多数效果比较好的序列转导模型都是基于CNN或者RNN的 Encoder
bert之transformer（attention is all you need）
fkyyly的专栏
12-12 1591
Attention Is All You Need 自从Attention机制在提出之后，加入Attention的Seq2Seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合rnn和attention的模型。传统的基于RNN的Seq2Seq模型难以处理长序列的句子，无法实现并行，并且面临对齐的问题。 所以之后这类模型的发展大多数从三个方面入手： input的方向性：...
【论文解读】Attention is All you need
rip -- shun
11-29 770
地址： 1706.03762v5.pdf (arxiv.org) abstrat 作者在abstract中先是简述了一种传统的翻译模型：encoder and decoder + Attention注意力机制(回顾：Simple to seq2seq And attention | Ripshun Blog)，然后引出了他们新的简单网络模型：Transformer，在实验中Transfromer有了很高的表现： 28.4BLEU 在WMT2014 English to Germen4.
Attention Is All You Need论文详解与理解
Marcus-Bao的个人主页
07-03 966
研究背景、动机 深度学习做NLP问题的方法，大多基本上是先将句子分词，然后将每个词转化为对应的词向量序列，于是每个句子就都对应一个词嵌入矩阵X=(x1,x2,...,xt)X=\left(x_1,x_2,{...,x}_t\right)X=(x1​,x2​,...,xt​)，其中xix_ixi​代表着第i个词的词向量，维度为d。因此，我们的问题就自然转化为如何编码这些序列信息了。 在Transformer该论文提出之前，几乎所有主流的翻译模型或者NLP模型都是建立在复杂的循环神经网络(Recurrent N
《attention is all you need》解读
kyle1314608的博客
07-29 716
Motivation: 靠attention机制，不使用rnn和cnn，并行度高 通过attention，抓长距离依赖关系比rnn强 创新点： 通过self-attention，自己和自己做attention，使得每个词都有全局的语义信息（长依赖 由于 Self-Attention 是每个词和所有词都要计算 Attention，所以不管他们中间有多长距离，最大的路径...
解读attention is all you need
02-11
### 解读 'Attention is All You Need' 论文 #### 关键思想 《Attention is All You Need》这篇论文提出了一个新的神经网络架构——Transformer，该架构完全依赖于自注意力机制来处理序列数据。传统上，在自然语言处理领域中使用的RNN及其变体（LSTM, GRU），由于其固有的顺序计算特性，难以并行化训练，并且对于长距离依赖关系的学习效果不佳。 为了克服这些问题，研究者引入了一种全新的方法论，即通过多头自注意力建模输入序列中的不同表示子空间[^1]。这种方法不仅能够有效捕捉到句子内部词语之间的关联性，而且极大地提高了模型的表达能力与泛化性能。 #### Transformer 架构 Transformer 的核心组件包括编码器(encoder) 和解码器(decoder)，两者均由多个相同的层堆叠而成。每一层主要由两个子模块构成： - **Multi-head Self-Attention Layer**: 这一层允许模型在同一时间关注来自不同位置的不同表征特征，从而增强了对上下文的理解。 - **Feed Forward Neural Network (FFN)**: FFN是一个简单的全连接前馈网络，应用于每个位置上的独立操作，不涉及任何跨位置交互。 此外，还存在残差连接(residual connection)围绕着这两个子模块，并在其后接一个Layer Normalization 层以稳定梯度传播过程。 ```python class TransformerBlock(nn.Module): def __init__(self, d_model, num_heads, dropout=0.1): super().__init__() self.self_attn = MultiHeadedSelfAttention(d_model=d_model, h=num_heads) self.feed_forward = PositionwiseFeedForward(d_model=d_model) self.norm_1 = nn.LayerNorm(d_model) self.norm_2 = nn.LayerNorm(d_model) self.dropout_1 = nn.Dropout(dropout) self.dropout_2 = nn.Dropout(dropout) def forward(self, x): attn_output = self.self_attn(x) out = self.norm_1(x + self.dropout_1(attn_output)) ff_output = self.feed_forward(out) output = self.norm_2(out + self.dropout_2(ff_output)) return output ``` #### 引入自注意力机制的意义 自注意力机制使得模型能够在无需考虑固定长度窗口的情况下动态调整权重分配给不同的词或字符片段。相比于传统的循环结构，这种方式显著减少了计算复杂度，并促进了更高效的并行运算实现方式。更重要的是，它提供了一个灵活而强大的工具来建模复杂的句法和语义模式，这对于提高机器翻译、文本摘要等多种下游任务的表现至关重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值