注意力机制 attention 注意力分数 动手学深度学习v2

最新推荐文章于 2024-10-12 23:35:24 发布
最新推荐文章于 2024-10-12 23:35:24 发布
阅读量392 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 李沐动手学深度学习 文章标签： 深度学习 自然语言处理 神经网络 注意力机制 attention 注意力分数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zgpeace/article/details/124777958
本文探讨了注意力机制在深度学习中的应用，特别是在自然语言处理中的重要作用。介绍了注意力分数和打分函数的实现，以及如何通过masked_softmax()处理填充padding。通过实例代码展示了注意力机制的实现过程，帮助读者理解这一关键概念。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 注意力机制 attention

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. 注意力机制 attention 代码实现

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

3. 注意力分数

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4. 注意力打分函数实现

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5. Q&A

    1. masked_softmax() 把填充padding的值，求softmax的时候，padding位置的值都设置为0.

参考

https://www.bilibili.com/video/BV1264y1i7R1?p=1

【动手学深度学习】(task1&2&3)注意力机制剖析
发现问题，并解决问题，批判性思维
03-20 2627
自注意力和位置编码 - 在自注意力中，查询、键和值都来自同一组输入。 - 卷积神经网络和自注意力都拥有并行计算的优势，而且自注意力的最大路径长度最短。但是因为其计算复杂度是关于序列长度的二次方，所以在很长的序列中计算会非常慢。 - 为了使用序列的顺序信息，可以通过在输入表示中添加位置编码，来注入绝对的或相对的位置信息。 ## 6.1 比较卷积神经网络、循环神经网络和自注意力 给定一个由词元组成的输入序列$\mathbf{x}_1, \ldots, \mathbf{x}_n$，其中任意$\mathbf{x}_
66 使用注意力机制的seq2seq_by《李沐：动手学深度学习v2》pytorch版
buyaotutou的博客
09-30 1101
Seq2seq中通过隐状态在编码器和解码器中传递信息注意力机制可以根据解码器RNN的输出来匹配到合适的编码器RNN的输出来更有效的传递信息下面看看如何定义Bahdanau注意力，实现循环神经网络编码器-解码器。其实，我们只需重新定义解码器即可。为了更方便地显示学习的注意力权重，以下类定义了[带有注意力机制解码器的基本接口#@save"""带有注意力机制解码器的基本接口"""@propertydef attention_weights(self): #画图所需代码。
Attention(注意力机制代码)
07-16
Attention.zip文件中总结了几种关于注意力机制的代码，有keras和tensorflow，还有PyTorch框架的
机器学习&&深度学习——注意力分数（详细数学推导+代码实现）
m0_52380556的博客
08-16 640
机器学习&&深度学习——注意力分数（详细数学推导+代码实现）
90. 注意力分数及代码实现
weixin_47505105的博客
01-25 1926
笔记
【LLM】5：Self-Attention中注意力分数的含义
zzZ_CMing的博客
10-12 2194
自注意力机制（Self-Attention）是Transformer模型的核心组件，其中Q、K、V矩阵分别代表查询（Query）、键（Key）、值（Value）。它们的作用和含义可以通过信息匹配过程来理解。在自注意力机制中，输入的序列数据会经过线性变换，生成这三个矩阵，然后用于计算注意力权重和最终输出。
动手学深度学习（四十七）——注意力分数
Liu Feng's Blog
02-19 3599
文章目录一、注意力评分函数二、注意力分数高维拓展1. 可加性注意力2. 缩放的“点－积”注意力三、总结 一、注意力评分函数 f(x)=∑i=1nα(x,xi)yi=∑i=1nexp⁡(−12(x−xi)2)∑j=1nexp⁡(−12(x−xj)2)yi=∑i=1nsoftmax(−12(x−xi)2)yi.(1-1)\begin{aligned} f(x) &=\sum_{i=1}^n \alpha(x, x_i) y_i\\ &= \sum_{i=1}^n \frac{\exp\left(
深度学习笔记之Transformer(三)自注意力机制
静静的学习就好
06-16 2875
上一节对注意力分数(Attention Score)这个概念进行了总结。本节将基于缩放点积注意力机制(Scaled Dot-Product Attention)这种注意力分数的计算模式，介绍自注意力机制。
学习Transformer：自注意力与多头自注意力的原理及实现
热门推荐
newxuyangcao
05-15 2万+
自从Transformer[3]模型在NLP领域问世后，基于Transformer的深度学习模型性能逐渐在NLP和CV领域(Vision Transformer)取得了令人惊叹的提升。本文的主要目的是介绍经典Transformer模型和Vision Transformer的技术细节及基本原理，以方便读者在CV领域了解和使用Vision Transformer。......
深度学习笔记之Transformer(二)关于注意力分数的总结
静静的学习就好
06-14 1292
上一节介绍了注意力机制的基本逻辑。本节作为过渡文章，归纳注意力分数这个概念。
深入理解Self-attention（自注意力机制）
DEDSEC_Roger的博客
12-21 2338
输入的特点是一个向量序列序列的长度是可变的例如：对于音频数据，STFT之后，得到每个帧的特征，这些帧在时间维度上构成序列输出类型有三种对序列中的每一个向量，都有一个对应的输出，比如说要对一段语音里的每个词，都判断词性。此时输出序列和输入序列长度相同只需要输出一个向量，比如说话人识别、音频事件分类输出序列的长度不能确定，比如语音识别、机器翻译接下来专注于介绍第一种输出类型，这种任务通常被称为序列标注（Sequence Labeling）
深度学习中一些注意力机制的介绍以及pytorch代码实现
学习笔记
07-15 1万+
因为最近看论文发现同一个模型用了不同的注意力机制计算方法，因此懵了好久，原来注意力机制也是多种多样的，为了以后方便看懂人家的注意力机制，还是要总结总结。
一文读懂自注意力机制：8大步骤图解+代码
小白学视觉
05-22 5520
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达转自 | 新智元 来源 |towardsdatascience作者 |Raimi Karim 编辑 |肖琴【导读】NLP领域最近的快速进展离不开基于Transformer的架构，本文以图解+代码的形式，带领读者完全理解self-attention机制及其背后的数学原理，并扩展到Tran...
注意力机制——注意力评分函数（代码+详解）
gary101818的博客
02-07 1万+
目录注意力分数关于a函数的设计有两种思路1.加性注意力(Additive Attention)2.缩放点积注意力（Scaled Dot-Product Attention）模块导入遮蔽softmax操作加性注意力代码：补充知识：1.torch.repeat_interleave(data, repeat= , dim=)2.torch.nn.Linear(*in_features*, *out_features*, *bias=True*, *device=None*, dtype=None）3.torch
一文搞懂attention机制
博客
07-10 1万+
文章目录1.简介2.注意力背后的核心理念3.为什么叫做attention4.attention是如何工作的Decoding at time step 1步骤1 - 计算每个编码器状态的分数步骤2-计算注意力权重步骤3-计算上下文向量步骤4-将上下文向量与前一时间步的输出连接步骤5-解码器输出在时间步骤2解码在时间步骤3解码在时间步骤4解码在时间步骤5解码5.过一下代码6.可视化结果7.结论8. R...
【深度学习】Attention的原理、分类及实现
BetterBench的博客
06-11 6102
目录1 原理1.1 简介1.2 原理2 分类2.1 计算区域2.2 所用信息2.3 结构层次2.4 模型方面2.5 相似度计算方式3 Keras实现 1 原理 1.1 简介 Attention是注意力机制，本质上对关注的多个对象有个不同的权重，从而关注重点不同。Attention是Transformer、Bert、GPT的基础。 引入Attention机制的原因 参数少：相对于RNN、CNN复杂度小，参数小 速度快：解决了RNN不能并行计算的问题 效果好：解决了长距离的信息会被弱化问题，Attentio
cbam模块
计算机视觉
12-05 799
https://github.com/fuyongXu/deeplearning_models_classifier_tutorial/blob/master/models/bam.py # -*-coding:utf-8-*- import math import torch import torch.nn as nn import torch.nn.functional as...
注意力机制
qq_36936443的博客
04-12 1万+
1.直观认知注意力机制 假设你想在淘宝上买一件价格便宜、黑白相间的格子衬衫，而淘宝每件衣服都有不同的用料、尺寸、类型、价格、颜色、款式、风格等等，这时你就会根据你的需求更关注如款式：衬衫、颜色：黑白相间、价格：便宜等有效信息，更不关注其他的信息，最终挑选出你心仪的衣服下单。 在这里，你通过给定的查询query（价格便宜、黑白相间、格子衬衫），将query与相关的键key（不同衣服的参数说明）和对应的值value（衣服链接）进行匹配，得出了最匹配的值（你最终下单的衣服链接）...
Attention机制总结
贝易的博客
09-17 840
关于attention机制的总结 目录Attention机制总结Seq2Seq模型RNN模型分类[^1]：Attention的提出：解决了什么问题 Attention机制总结 Seq2Seq模型 Seq2Seq模型的输入和输出是不等长的序列，模型由一个encoder和一个decoder构成，输入序列{x1,x2,⋯ ,xT}\{x_1,x_2,\cdots,x_T\}{x1​,x2​,⋯,xT​}传递到encoder中，编码得到隐含状态向量ccc，ccc作为输入传递到decoder中，decoder解码得到
多头注意力是怎么计算的？多个kqv分别计算的吗
最新发布
07-16
我们正在讨论多头注意力机制（Multi-Head Attention）的计算过程。多头注意力是Transformer模型的核心组成部分，它通过多个独立的“头”来并行处理信息，每个头学习不同的特征表示，最后将结果合并。下面我将详细...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值