Transformer

最新推荐文章于 2025-08-22 09:54:53 发布
最新推荐文章于 2025-08-22 09:54:53 发布
阅读量464 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 深度学习 pytorch 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49117441/article/details/123315370
本文探讨了自注意力层如何使模型在序列处理中捕捉到不同位置的依赖关系，实现并行计算，提高效率。通过多个Head学习不同的关系，增加了模型的表达能力。同时，为了解决顺序信息丢失的问题，引入了位置编码来恢复序列顺序敏感性。总结了自注意力在现代深度学习模型中的核心作用及其优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这里写目录标题

一级目录

二级目录

三级目录

引用：
https://www.bilibili.com/video/BV1h4411g7Pz/?spm_id_from=333.788.videocard.18

我们如何将输出的b1能够看到a1,a2,a3,a4,…所有的sequence呢？self-attention layer可以做到这一点。

首先通过q,k计算出a1与所有aj的相似度权重α1,j ,这样在训练的过程中，b1与谁相似、或者说想与谁的关系增强一点，就可以通过反向传播更新W矩阵，继而调整α1,j的大小。

比如b1只想要与a1有关系，那就把α1,1— α1,4权重调整成 1-0-0-0（softmax），这样就可以了!
在这里插入图片描述
我们可以看出，在求解b1的过程中可以并行，也可以并行的求解b1,b2,b3,b4! 这就大大提高了计算效率！

b1内部计算并行：
在这里插入图片描述
bi之间计算并行：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
可能不同的Head学习到的关系不一样，所以用多个Head一起学习一下！
在这里插入图片描述
经过上面的变换我们发现，“天涯若比邻”这种现象，也就是说sequence之间的顺序信息丢掉了，所以为了添加位置信息，我们需要人为的加上位置编码！

在这里插入图片描述

THU Monster
关注
Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解
iioSnail的博客
07-28 9万+
1. Transformer的训练过程讲解 2. Transformer的推理过程讲解 3. Transformer的入参和出参讲解 4. nn.Transformer的各个参数讲解 5. nn.Transformer的mask机制详解 6. 实战：使用nn.Transformer训练一个copy任务。
史上最小白之Transformer详解
Tink1995的博客
03-27 34万+
1.前言 博客分为上下两篇，您现在阅读的是史上最小白之从Attention到Transformer详解(下) 上篇博客地址：史上最小白之从Attention到Transformer详解(上) 在上篇中我们已经介绍了Encoder-Decoder，Attention机制，self-Attention，今天就来一起看看近两年大火的Transformer。 2.Transformer 原理 2.1 Tr...
Transformer 模型详解
步入人工智能
05-29 33万+
本内容主要介绍 Transformer 模型的具体实现。
Vision Transformer详解
霹雳吧啦Wz
06-26 32万+
论文名称： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 论文下载链接：https://arxiv.org/abs/2010.11929 原论文对应源码：https://github.com/google-research/vision_transformer Pytorch实现代码： pytorch_classification/vision_transformer 文章目录前言模型详解Vision
【超详细】【原理篇&实战篇】一文读懂Transformer
热门推荐
艰难困苦，玉汝于成。
11-02 54万+
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
Swin-Transformer网络结构详解
霹雳吧啦Wz
11-03 27万+
文章目录0 前言1 网络整体框架2 Patch Merging详解3 W-MSA详解Ω(MSA)\Omega (MSA)Ω(MSA)模块计算量Ω(W−MSA)\Omega (W-MSA)Ω(W−MSA)模块计算量4 SW-MSA详解5 Relative Position Bias详解6 模型详细配置参数 0 前言 Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号。Swin Transformer网络是Tran
transformer
zhangxu
09-28 4081
transformer最早于2017年google机器翻译团队提出，也就是著名的 《Attention Is All You Need》，transformer完全取代了以往的RNN和CNN结构，改为由transformer堆叠的方式构建模型。 transformer在NLP领域首先取得了非常惊人的效果，随后DETR首次将transformer引入到了CV的目标检测任务重，随后VIT完全抛弃了CNN，改为完全由transformer实现基础的图像分类任务，之后transformer在CV领域的应用也变得一发
Transformer模型详解
人无远虑，必有近忧
01-19 3万+
transformer结构是google在2017年的Attention Is All You Need论文中提出，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开transformer。最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。 由于其出色性能以及对下游任务的友好性或者说下游任务仅仅微调即可得到不错效果，在计算机视觉领域不断有人尝试将transformer引入，近期也出现了一些效果不错的尝试，典型的如目标检测领域的detr和可变形detr，分
一文读懂Transformer
盼小辉丶的博客
01-23 3万+
Transformer 的不仅推动了 NLP 的快速发展，也成为了许多先进模型的基础。以GPT、BERT、T5 等为代表的大语言模型，均基于 Transformer 架构。此外，Transformer 还被成功应用于计算机视觉领域、推荐系统等领域，为深度学习带来了前所未有的效率与表现。随着研究的深入，Transformer 架构正在不断优化和拓展，不仅提升了模型的性能，也让人工智能技术更贴近实际应用。
transformer-transformer
11-12
Transformer模型已经成为自然语言处理（NLP）领域中的一项重要技术。它的出现标志着深度学习在序列到序列的任务中的一个重大进步，尤其是它的自注意力机制和位置编码的创新，使得模型能够更好地处理长距离依赖问题。...
transformer-使用Pytorch实现Transformer-项目源码-附完整复现细节.zip
10-21
在深度学习领域，Transformer模型由于其出色的并行计算能力和对序列数据的处理能力，已经成为自然语言处理（NLP）和许多其他序列学习任务的重要工具。Transformer模型最早由Vaswani等人在2017年的论文中提出，并且...
Transformer-transformer
09-13
由于给出的文件信息中【标题】、【描述】和【标签】均只包含“transformer”这一关键词，而【压缩包子文件的文件名称列表】则提供了具体的文件名，因此，我们可以围绕“transformer”这个关键词展开知识内容的生成。...
swin transformer权重
08-11
"Swin Transformer权重"是指用于初始化或更新Swin Transformer模型参数的数值集合，这些权重通常由预训练模型提供，以便用户可以在自己的任务上快速获得良好性能。 Swin Transformer的核心思想是引入了类似于卷积...
AI 辅助逆向抄数：点云优化工具与深度学习建模能力在消费电子领域的应用
最新发布
SYNCON_SEMI的博客
08-22 570
摘要：AI技术正革新消费电子逆向抄数，突破传统方法在数据处理、建模精度和迭代速度上的局限。智能点云优化工具可提升70%处理效率，深度学习建模使精度达95%以上，某智能手表案例显示研发周期缩短40%。新启航半导体推出微米级三维扫描方案，具备反光表面扫描、六轴自动扫描等五大优势，测量精度达±0.02mm，扫描速度80万次/秒，为智能制造提供全周期技术支持。（150字）
yolo_RK3588系列（三）
TracyWdz的博客
08-20 1121
本文介绍了将YOLOv5模型部署到RK3588芯片的完整流程。首先需将.pt权重文件转换为.onnx格式，再通过RKNN工具包转为.rknn格式。在板端部署时，需检查NPU驱动版本和环境配置，并确保模型输出维度与推理代码匹配。最后运行demo程序进行图片或视频流推理，通过调整NMS阈值和置信度阈值优化检测效果。整个过程涉及格式转换、环境验证和参数调整等关键步骤，最终实现模型在嵌入式设备上的高效运行。
深度学习核心技巧与实战指南
weixin_45302337的博客
08-20 281
摘要：本文总结了深度学习中多项关键技术要点。1) Tensor存储机制通过共享storage减少内存占用；2) argparse模块实现命令行参数解析；3) BN层实现通道归一化，训练/验证阶段采用不同统计方式；4) Dataset和DataLoader构建数据管道；5) 优化器原理及Adam等改进算法；6) 网络结构调整方法；7) 混合精度训练实现；8) 损失函数理论基础；9) 训练日志管理；10) TensorBoard可视化工具；11) 图像插值方法比较。重点阐述了各技术的实现原理和典型应用场景，涵盖
循环神经网络（RNN）、LSTM 与 GRU （一）
Hao_diedie的博客
08-20 1175
本文介绍了三种处理序列数据的神经网络模型：RNN、LSTM和GRU。RNN是最基础的循环神经网络，能够建模序列信息但存在梯度消失问题。LSTM通过引入门控机制和细胞状态解决了长期依赖问题，但计算复杂度较高。GRU作为LSTM的简化版本，仅保留更新门和重置门，在保持性能的同时提高了计算效率。三种模型各有特点：RNN适合简单序列任务，LSTM擅长长序列建模，GRU则在速度和效果间取得平衡。实际应用中可根据任务需求选择合适的模型结构。
TransformER
02-28
TransformER是一个基于Transformer模型的实体关系抽取器。它是由CSDN开发的C知道团队开发的，旨在从文本中自动提取实体和它们之间的关系。 Transformer是一种基于自注意力机制的神经网络模型，它在自然语言处理任务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值