【深度学习】transformer中softmax为什么要scaled

已于 2022-01-20 16:09:42 修改
阅读量4.7k 收藏 21
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 推荐系统 深度学习 文章标签： 深度学习 人工智能
于 2022-01-20 15:49:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_31866177/article/details/122602518
本文深入探讨了Transformer模型中Scaled Softmax的重要性，解释了为何在点积注意力机制中需要进行缩放，以及它如何帮助缓解梯度消失问题。此外，还讨论了在不同情境下是否需要应用Scaled Softmax。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文中解释是：向量的点积结果会很大，将softmax函数push到梯度很小的区域，scaled会缓解这种现象。怎么理解将sotfmax函数push到梯度很小区域？还有为什么scaled是维度的根号，不是其他的数？

答案：q，k向量点积后的结果数量级变大，经历过softmax函数的归一化之后，后续反向传播的过程中梯度会很小，造成梯度消失。进行scaled能够缓解这种情况。

Multi-head Attention为什么要做scaled - 卷王李狗蛋的文章 - 知乎

目录

为什么会梯度消失的原因？

在self-attention中为什么要除以？

为什么要假设为均值为0，方差为1？

为什么在其他 softmax 的应用场景，不需要做 scaled？

为什么在分类层（最后一层），使用非 scaled 的 softmax？

注意力机制的softmax溢出怎么解决？

为什么会梯度消失的原因？

数量级对softmax得到的分布影响非常大。在数量级较大时，softmax将几乎全部的概率分布都分配给了最大值对应的标签。

点积后的结果数量级大会导致反向传播梯度变小。造成梯度消失，参数更新困难。

当输入g(x)函数的logits的数量级很大时，g(x)输出的是一个非常接近one-hot的向量[0,0,...1,...0,0]。

在self-attention中为什么要除以\sqrt{d_k}？

方差越大也就说明，点积的数量级越大（以越大的概率取大值）。那么一个自然的做法就是把方差稳定到1，做法是将点积除以\sqrt{d_k}，将方差控制为1，也就有效地控制了前面提到的梯度消失的问题。

为什么要假设为均值为0，方差为1？

浅谈Transformer的初始化、参数化与标准化 - 科学空间|Scientific Spaces

在一般的教程中，推导初始化方法的思想是尽量让输入输出具有同样的均值和方差，通常会假设输入是均值为0、方差为1的随机向量，然后试图让输出的均值为0、方差为1。

初始化自然是随机采样的的，所以这里先介绍一下常用的采样分布。一般情况下，我们都是从指定均值和方差的随机分布中进行采样来初始化。其中常用的随机分布有三个：正态分布（Normal）、均匀分布（Uniform）和截尾正态分布（Truncated Normal）。

核心是让输入输出具有同样的均值和方差，保持相同的数据分布。挑正态分布可能因为常见，均值为0、方差为1。因为简单？

为什么在其他 softmax 的应用场景，不需要做 scaled？

transformer中的attention为什么scaled? - 小莲子的回答 - 知乎

为什么在分类层（最后一层），使用非 scaled 的 softmax？

因为木有两个随机变量相乘的情况，所以不存在点积后的结果数量级大会导致反向传播梯度变小！

注意力机制的softmax溢出怎么解决？

原文链接

transformer中的attention为什么scaled? - TniL的回答 - 知乎

transformer中的attention为什么scaled? - 小莲子的回答 - 知乎

浅谈Transformer的初始化、参数化与标准化 - 科学空间|Scientific Spaces

从零实现深度学习框架——Transformer从菜鸟到高手(一)
日积月累，天道酬勤
08-02 3416
图解Transformer理论+自己动手实现Transformer！
【深度学习|Transformer模型学习】transformer块为什么总是应用到语义分割网络中的解码器结构？有什么作用？你知道吗？
985小水博的摸鱼日常
12-21 818
【深度学习|Transformer模型学习】transformer块为什么总是应用到语义分割网络中的解码器结构？有什么作用？你知道吗？
Transformer模型-softmax的简明介绍：转为概率分布，马太效应
Ankie资深技术项目经理
04-03 3185
softmax：常用于神经网络的输出层，以将原始的输出值转化为概率分布，从而使得每个类别的概率值在0到1之间，并且所有类别的概率之和为1。这使得Softmax函数特别适用于多类分类问题，其中模型需要预测输入样本属于多个可能类别中的哪一个。
为什么在进行softmax之前需要对attention进行scaled（为什么除以 d_k的平方根）
ytusdc的博客
11-29 7674
因此，d_k 的平方根被用于缩放（而非其他数值），因为，Q和K的矩阵乘积的均值本应该为0，方差本应该为1，这样会获得一个更平缓的softmax。另外一个需要注意的点为什么要除以根号dk，因为Q和K的内积结果，随着其维度变大，方差会变大，进而可能会出现很大的值，除以根号dk保证输出结果的不会出现过大值，这个在原论文中是有说明注解的。这样做是因为对于较大的深度值，点积的大小会增大，从而推动softmax函数往仅有很小的梯度的方向靠拢（分布集中在绝对值大的区域），导致了一种很硬的（hard）softmax。...
Transformer中softmax模块的理解与重要性
最新发布
2401_83171592的博客
05-30 1521
本文详细解析了Transformer中softmax函数的核心作用与实现细节。在注意力机制中，softmax将点积得分归一化为概率分布，通过缩放因子避免数值过大导致的梯度问题。文章从数学定义出发，阐述了softmax在单头/多头注意力、解码器输出层的具体应用，并通过示例演示计算过程。关键点包括：1）softmax的归一化特性使其能生成有效权重；2）缩放点积解决大维度带来的数值不稳定；3）多头机制通过不同子空间捕获多样化特征。最后解答了常见问题，强调softmax在实现动态权重分配、确保模型可训练性方面的重要
AI大模型算法工程师经典面试题—：为什么在softmax之前要对attention进行scaled（为什么除以 d_k的平方根）？”
2401_85325557的博客
09-22 1858
我们知道attention其实有很多种形式，而transformer论文中的attention是Scaled Dot-Porduct Attention 来计算keys和queries之间的关系。
2024AI大模型算法工程师经典面试题—：为什么在softmax之前要对attention进行scaled（为什么除以 d_k的平方根）？”
qkh1234567的博客
12-22 1153
因此， 的平方根被用于缩放（而非其他数值），因为，Q和K的矩阵乘积的均值本应该为0，方差本应该为1，这样会获得一个更平缓的softmax。• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。这里 是key向量的维度。从论文中可以看出，随着 的值变大，点积的大小会增大，从而推动softmax函数往仅有很小的梯度的方向靠拢（分布集中在绝对值大的区域），导致softmax 函数容易导致梯度消失问题。
Tranformer模型与Softmax函数
qq_43581545的博客
11-02 4368
SOFTMAX函数的FPGA设计与实现
Transformer在计算softmax之前为什么要除以维度的开方
Zzzzyc_的博客
07-14 876
在计算注意力时，特别是在使用缩放点积注意力（Scaled Dot-Product Attention）时，确实会用到除以维度的平方根。本文详细这一步操作的原因和意义。假设我们有查询向量 QQQ、键向量 KKK 和值向量 VVV，它们的维度为 dkd_kdk​。注意力计算的公式为： Attention(Q,K,V)=softmax(QKTdk)V\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{Q K^T}{\sqrt{d_k}}\right) VAt
深度学习transformer架构详细详解
weixin_61967363的博客
04-15 3474
详细解释了transformer架构相关知识
深度学习 | Transformer 基本原理
狂放不羁霸的博客
07-13 1784
1 为什么使用 Transformer？ 2 Attention 注意力机制 2.1 什么是 Q、K、V 矩阵？ 2.2 Attention Value 计算流程 2.3 Self-Attention 自注意力机制 2.3 Multi-Head Attention 多头注意力机制 3 Transformer 模型架构 3.1 Position
Transformer动画讲解：Softmax函数
2301_78285120的博客
06-10 1856
暑期实习基本结束了，校招即将开启。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。提前准备才是完全之策。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。Transformer的Softmax函数：用于将原始注意力分数转换为输入标记的概率分布。这种分布将较高的注意力权重分配给更相关的标记，并将较低的权重分配给不太相关的标记。
Transformer的数学基础之Softmax
qq191513的博客
09-08 1620
​ 可以看出，三个值的差异已经不是一个量级了，输出的第1、2个值量级特别大，基本为0，第三个值为1。我们课看到输入的参数也才2倍、3倍的差别，而输出却是0，0，1。也就是说，在数量级较大时，​ 可以看出，这向量的三个值还是比较近的，输入是小微变化，而输出也是小微变化，符合我们要的归一化。​ 可以看出，尽管输入值差别不大，但是结果的差距速度拉大了。​ 可见，输入太大，会把结果变得十分陡峭，导致落在。的极端区域，趋于0或者1，而且在极端区域的。函数的梯度值趋于0，不利于模型学习。
transformer中的attention为什么scaled
ltochange的博客
08-27 548
transformer中的attention为什么scaled 简单的说是为了上attention得到的权值更加均匀一点。在数量级较大时，softmax将几乎全部的概率分布都分配给了最大值对应的标签。 详见 transformer中的attention为什么scaled 如果本身就想获得差距较大的attention值，可以不用scaled。例如在这个ner任务里面 ...
Transfomer原理softmax层，注意力机制，多头注意力机制
互联网知识分享
12-12 789
Softmax层是深度学习中常用的一种激活函数，它可以将一个含有任意实数的 K 维向量“压缩”到另一个 K 维实数向量中，使得每个元素的范围都在 0 到 1 之间，并且所有元素的和为 1。多头注意力机制的原理是通过使用多组注意力权重，每组权重都可以关注输入的不同部分，然后将不同组的注意力权重进行拼接或加权求和，以得到最终的注意力表示。多头注意力机制是注意力机制的一种扩展形式，它可以让模型同时关注输入的不同部分，并且学习到不同部分的表征。其中，z 是原始分数向量，K 是类别的数量，i 表示第 i 个类别。
Google的RFA：transformers的Softmax注意机制最新替代
deephub
03-01 5078
什么是注意力机制？为什么RFA比Softmax更好？ Google最近发布了一种新方法-Random Feature Attention-用来取代transformers中的softmax注意力机制，以实现相似或更好的性能，并显着改善时间和空间复杂度。 在此文章中，我们将探讨transformers的背景，什么是注意力机制，以及为什么RFA可以更好地替代softmax注意力机制。 我们将通过RFA的一些总结来结束本文章。 背景 目前，transformers是序列到序列机器学习模型的最佳模型。 它专门研究数
softmax应用
as394349658的博客
08-26 734
import tensorflow as tf labels = [[0, 0, 1], [0, 1, 0]] # one-hot标签 labels2 = [[0.4, 0.1, 0.5], [0.3, 0.3, 0.4]] # 非one-hot标签 labels3 = [2, 1] # sparse标签 logits = [[2, 0.5, 6], [0.1, 0, 3]] lo...
【Transformer】20、SOFT: Softmax-free Transformer with Linear Complexity
呆呆的猫的博客
12-13 3988
所以，本文作者提出了 softmax-free transformer, SOFT，在 self-attention 中移除了 softmax，使用高斯核函数来代替内积，能够通过低秩矩阵分解来近似得到 self-attention 矩阵。一般的 self-attention 都是计算规范化的 token 特征的内积计算得到，保持这种 softmax 操作对后面的线性化操作有些挑战。为了降低计算量，作者参考 Nystrom[38] 来实现低秩矩阵近似，可以不用计算全部的 self-attention。
transformer为什么要除以dk
03-14
### Transformer 模型 Attention 机制中的缩放因子 在 Transformer 模型的注意力机制中，点积操作的结果会被除以 $\sqrt{d_k}$ 。这一做法是为了使点积后的数值分布在一个较为合理的范围内，从而提高模型训练的稳定...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值