《Attention Is All You Need》注意力机制公式中Q,K,V的理解

最新推荐文章于 2025-06-23 14:38:48 发布
原创 最新推荐文章于 2025-06-23 14:38:48 发布 · 2.5w 阅读 · 177 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

一、概述

《Attention Is All You Need》是一篇关于注意力机制里程碑的文章，从2017年发表至今2020年7月已经获得了上万的引用。该文的两大亮点一是提出了一个几乎仅依靠注意力来完成机器翻译的模型Transformer，推动了NLP的发展，另外一个亮点是改进了点积注意力（Dot-Product Attention），加入了一个缩放因子，提出了可伸缩点积注意力（Scaled Dot-Product Attention）。本人在阅读了《Attention Is All You Need》和《Illustrate the Trasformer》两篇文章后，发现文中对点积注意力的解释都不够具体，让很多读者难以理解。Q（一组query集合组成的矩阵）,K（一组key集合组成的矩阵）,V（一组value集合组成的矩阵）具体含义是什么，如何去理解。本人在经过思考以后，有一些自己的想法和见解在此提出，希望能对有相同困惑的同学一些帮助，如果有理解不对的地方，也希望大家在评论区提出指正共同探讨。

二、向量相关性

为了对点积注意力机制有一个比较好的理解，首先需要理解如何度量两个向量之间的相关性。由线性代数相关的知识我们可以知道，对于相同维度的两个向量，可以通过点积的方法来获得其相关性。
两个垂直的向量
上图中的两个向量，点积就是对应位置相乘再相加，所得结果为0，可以说这两个向量是线性无关的，也就是垂直的。如果点积不为0，则是相关的，如下图点积结果为3。
在这里插入图片描述

三、点积注意力

最低0.47元/天 解锁文章

200万优质内容无限畅学
注意力机制中的QKV
欢迎来到我的CSDN空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
12-16 1038
注意力机制中的Q、K、V 关键词：注意力机制, Q (Query), K (Key), V (Value), Transformer, 自注意力, 多头注意力, 缩放点积注意力 1. 背景介绍 1.1
【大模型系列篇】论文解读：Transformer - Attention Is All You Need
木亦汐丫
08-09 2010
当今大模型初学者必读的一篇论文，已经有不少业内大佬都翻译解读过这篇论文，此处仅作为自己学习的记录。该论文是由谷歌机器翻译团队于2017年发表在NIPS ，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为Encoder-Decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。
【注意力机制2-2】-深入理解 注意力机制 的 Q、K、V 机制
wangshangshang09的博客
04-03 2545
Transformer 是现代自然语言处理（NLP）和计算机视觉（CV）任务中的核心架构，而其自注意力（Self-Attention）机制是 Transformer 成功的关键。本文将重点解析 Q（Query）、K（Key）、V（Value）三个矩阵的作用及其计算方法。
【AI大模型入门指南】Transformer架构中的QKV--自注意力机制详解
路漫漫亦无涯
06-23 908
本文详细解析了Transformer架构中的自注意力机制及其核心组件QKV（Query、Key、Value）。自注意力机制通过模仿人类阅读理解方式，动态捕捉序列内部元素间的关系，相比传统RNN具有并行处理能力强、长距离依赖捕捉好的优势。QKV分别承担不同功能：Query发出查询指令，Key提供身份标识用于匹配，Value则携带实际信息。计算过程包括线性变换、相似度计算、归一化和加权求和四个步骤。这种机制广泛应用于自然语言处理、语音处理和计算机视觉领域，其多头并行计算特性显著提升了模型性能和处理效率。
Transformer解码未来：QKV自注意力机制颠覆认知，一文读懂大模型核心引擎
打造全国最全的AI Agent开发知识领域的博客
06-04 972
本文用可视化迷你数据集拆解Transformer黑箱，从词嵌入到多头注意力机制层层剥茧。通过"猫追狗"位置编码实验、图书馆找书式QKV比喻、自注意力矩阵热力图演示，彻底讲透大模型底层逻辑。掌握这篇，面试官问到ChatGPT原理时，你就是全场最靓的崽。
Transformer 中 QKV 流向全解析（含注意力机制箭头图示）
最新发布
m0_60610428的博客
06-23 707
通过字符图示和逻辑整理，我们可以清楚地看到 Transformer 架构中 Q、K、V 的具体生成流向和注意力交互模式。理解这些机制，不仅有助于掌握 Transformer 的核心思想，还能为进一步研究多头注意力、位置编码、以及结构优化打下坚实基础。
[LLM] 自然语言处理 ----- Attention机制中的Q,K,V介绍
摩登都市天空---专栏
09-14 2万+
注意力机制就是要通过训练得到一个加权，自注意力机制就是要通过权重矩阵来自发地找到词与词之间的关系。 Q就是词的查询向量，K是“被查”向量，V是内容向量。 简单来说一句话：Q是最适合查找目标的，K是最适合接收查找的，V就是内容，这三者不一定要一致，所以网络这么设置了三个向量，然后学习出最适合的Q, K, V，以此增强网络的能力。 因此肯定需要给每个input定义tensor，然后通过tensor间的乘法来得到input之间的关系。那这么说是不是给每个input定义...
对Attention is all you need 的理解
热门推荐
mijiaoxiaosan的博客
06-14 6万+
对谷歌Attention is all you need 的理解。
注意力机制的qkv_从维度角度理解
wangmarkqi的博客
09-11 2103
关于qkv
注意力机制（Q,K,V）基本概念
Dys_debug的博客
11-27 7101
1. 查询（自主提示）和键（非自主提示）之间的交互形成了注意力汇聚；注意力汇聚有选择地聚合了值（感官输入）以生成最终的输出。2. 注意力汇聚根据不同的概念可分为带参型、非参型。或是拆分为评分函数+softmax的形式
【翻译】Attention Is All You Need
jokerwu192的博客
07-02 2万+
论文地址：https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf 项目地址：https://github.com/ tensorflow/tensor2tensor
论文阅读：Attention Is All You Need【注意力机制】
南有芙蕖
10-12 7667
论文阅读：Attention Is All You Need 原文链接：Attention Is All You Need 作者： Ashish Vaswani；Noam Shazeer；Niki Parmar；Jakob Uszkoreit；Llion Jones；Aidan N. Gomez； Łukasz Kaiser；Illia Polosukhin 目录论文阅读：Attention Is All You Need摘要1 介绍2 背景3 模型架构3.1 编码器和解码器堆栈3.2 注意力机制3.2
Attention Is All You Need.pdf
07-05
Attention Is All You Need，NLP经典论文，值得仔细阅读
《Attention Is All You Need》论文复现总结
爱学习_萌萌哒
07-23 629
Transformer 架构基于注意力机制，不使用循环神经网络（RNN）或卷积神经网络（CNN）。包括编码器（Encoder）和解码器（Decoder）两个部分。自注意力机制核心公式：[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V ]查询（Query）、键（Key）、值（Value）的计算。多头注意力机制多头注意力通过并行计算多个注意力头来提升模型的表示能力。位置编码。
论文笔记《Attention Is All You Need》
丶Karl的博客
02-10 2238
Attention Is All You Need：Transformer开山之作。
transformer原理-Attention Is All You Need
traveler-leon的博客
04-30 1619
还是惯例来感慨一下，transforemr是google公司在2017年7月发表的【Attention Is All You Need】这篇文章中被提出来的。而在大模型得到了蓬勃发展的今天，不管是哪一类大模型（视频、图像、文本），基本上模型的基础架构都是采用了transformer或者是transformer的变体。这一定程度上奠定了transformer的铁王座地位。
注意力足矣（Attention Is All You Need）
weixin_44378835的博客
06-15 1万+
本文将介绍一个不使用卷积和循环网络层，而是完全基于注意力机制的模型——Transformer。
注意力机制Q K V
studyvcmfc的专栏
06-24 1078
https://zhuanlan.zhihu.com/p/67115572
attention is all you need 公式
05-19
在 'Attention is all you need' 的论文中，核心部分是注意力机制的实现方式——Scaled Dot-Product Attention（缩放点积注意力）。该方法通过矩阵运算高效地实现了自注意力机制的核心功能[^2]。 #### 主要公式及其...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值