【CS224n】(lecture9)Self-Attention and Transformers

最新推荐文章于 2025-07-30 00:20:31 发布
最新推荐文章于 2025-07-30 00:20:31 发布
阅读量1.4k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 自然语言处理 文章标签： 自然语言处理 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35812205/article/details/122151866

学习总结

文章目录

内容简介：

  1. 从循环（RNN）到基于注意力的 NLP 模型
  2. 介绍 Transformer 模型
  3. Transformer 的好结果
  4. Transformer 的缺点和变体

一、从 RNN 到基于注意力的 NLP 模型

1.1 基于注意力的RNN模型

2016年时NLP领域常用双向LSTM对句子进行编码（如翻译下面的句子），把输出定义为一个序列。然后用LSTM解码。最后使用注意力以便灵活地访问编码的隐藏状态（即memory）。
在这里插入图片描述

基于注意力机制的seq2seq，RNN模型

以上就是2014年~2017年的RNN模型，2021年的今天，我们可以用不同的模型。

1.2 RNN循环模型的问题

（1）线性交互距离

循环模型的缺点：线性交互距离。
RNN是“从左到右”展开的，对线性局部性进行编码，这也启发我们：邻近的单词会影响彼此的意思。如句子

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【CS224n】(lecture9)Transformer的变体
发现问题，并解决问题，批判性思维
01-01 2392
学习总结 Transformer 的进一步改进可能在于以下几个方向： 0.1 理论分析 Transformer 的架构已被证明能够支持具有足够参数的大规模训练数据集。许多工作表明，Transformer 具有比 CNN 和 RNN 更大的容量，因此具有处理大量训练数据的能力。当 Transformer 在足够的数据上进 行训练时，它通常比 CNN 或 RNN 具有更好的性能。一个直观的解释是 Transformer 对数据结构的先验假 设很少，因此比 CNN 和 RNN 更灵活。然而，理论原因尚不清楚，我们
【CS224n】(lecture1)课程介绍和word2vec
发现问题，并解决问题，批判性思维
11-21 1554
学习总结 文章目录学习总结一、资料准备 一、资料准备 （1）课程ppt：https://web.stanford.edu/class/cs224n/slides/ （2）Speech and Language Processing ：https://web.stanford.edu/~jurafsky/slp3/ （3）课程官网：https://see.stanford.edu/Course/CS224N#course-details ...
CS224N学习笔记（十四）Transformers and Self-Attention
rocking_struggling的博客
05-20 451
原文 Lecture 14 Transformers and Self-Attention For Generative Modelsguest lecture by Ashish Vaswani and Anna Huang 学习变长数据的表示，这是序列学习的基本组件（序列学习包括 NMT, text summarization, QA）通常使用 RNN 学习变长的表示：RNN 本身适合句子和像素序列LSTMs, GRUs 和其变体在循环模型中占主导地位。但是序列计算抑制了并行化。没有对长期和短期依赖关系
cs224n 笔记9 机器翻译和高级循环神经网络LSTMs和GRUs
li_dongchao的博客
12-23 614
前言 cs224n 第九讲，讲解了机器翻译以及GRU、lstm。 文章目录前言机器翻译传统机器翻译第一步：对齐其他步骤传统机器翻译深度学习来拯救简单的RNNRNN扩展 机器翻译 传统机器翻译 传统机器翻译的目标就是找到条件概率最大的e： e^=argmaxep(e∣f)=argmaxep(f∣e)p(e)\hat e=argmax_ep(e|f)=argmax_ep(f|e)p(e)e^=argm...
李宏毅深度学习课程笔记（一）——Self-attention和Transformer
Rome was not built in a day.
03-24 1896
李宏毅深度学习课程笔记（一）——Self-attention和Transformer1. 前言2. Self-attention 视频课程链接：https://www.bilibili.com/video/BV1Xp4y1b7ih? 1. 前言 在过去的使用场景中，模型的输入通常只有一个单独的向量，而模型的输出则是预测的数值或类别，如上图。 但是假设输入的是一排向量（或序列），且向量的长度不是固定的，例如声音信号、语句、基因序列等，如上图。而对于模型输出而言，可以分为如下图所示的三种类型，即输入输出序列
深度学习原理学习小结 - Self-Attention/Transformer
weixin_44944722的博客
08-04 582
【博主前言】：本篇博客是博主学习Transformer时对Transformer的基本原理从源头开始入手，以自己的语言比较通俗的概括自己对该技术的理解。Transformer本质上就是带有self-attention的encoder-decoder模型，因此从self-attention开始讲解，理解其物理世界的意义，再从物理世界回到数学世界求解其数学模型；为理解Transformer奠定坚实的基础，最后附上基于Pytorch实现的代码，加深对Transformemr的理解......
cs224n:斯坦福大学2021年冬季
03-17
【cs224n:斯坦福大学2021年冬季】课程是斯坦福大学开设的一门关于自然语言处理（NLP）的高级课程，主要针对计算机科学专业的研究生和高年级本科生。这门课程深入探讨了如何利用深度学习技术解决自然语言处理中的各种...
CS224N NLP
exu131g的博客
03-01 1091
文章目录AbbreviationLecture 1 - Introduction and Word VectorsNLPWord2vecUse two vector in one word: centor word context word.softmax functionTrain the model: gradient descentShow some achievement with code(5640-h0516)QALecture 2 Word Vectors,Word Senses,and Ne
CS224N WINTER 2022（五）Transformers详解（附Assignment5答案）
梦想破三的奔三狗
05-31 1万+
潮落
NLP学习—21.自注意力机制（Self-Attention）与Transformer详解
柳杰的博客
09-02 1万+
文章目录引言一、Structure of Transformers二、Encoder Structure三、Self-attention and multi-head self-attention1.Self-attention2.multi-head self-attention四、Residuals , Add and Layer-Normalization五、Decoder structure of Transformer六、Mask self-attention七、 Encoder-decoder
复现《A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation》
weixin_40459958的博客
03-08 1612
遍历每个batch，遍历iter（看设置，在循环内部iters加上offset，当前offset是0倒没啥影响，另外这个iter的遍历是一直持续到maxsteps） prepare_sources(train_batch.src, srcpadid, args.share_vocab) 输入： train_batch.src data [153, 14] srcpadid padid 1 args.share_vocab share_vocab False # 默认是True 如果share_
一文读懂Transformer+源码复现
热门推荐
程序猿废柴的博客
04-28 1万+
本文主要介绍Transformer的原理以及对Transformer的源码进行复现。关于Transformer的原理在上篇《一文读懂BERT(原理篇)》一文中有较详细的介绍，读者可以通过传送门过去进一步阅读，本片着重对代码部分进行研究。本文内容参考了The Annotated Transformer（读者可以从这里下载代码）以及《Convolutional Sequence to Sequence...
[LLM] 自然语言处理---Transformer实现(二)
摩登都市天空---专栏
08-02 7562
目录 Encoder-Decoder框架 一 整体架构 动态流程图 二 Encoder 2.1 Encoder Layer和残差网络 Residual Connection 2.2 Attention Self Attention Multi-head Attention 2.3 Add & Norm LayerNormalization 层归一化 2.4 前馈网络...
BERT代码实现及解读
chenwu9745的博客
08-01 3839
注意力机制系列可以参考前面的一文： 注意力机制及其理解 Transformer Block BERT中的点积注意力模型 公式： 代码： class Attention(nn.Module): """ Scaled Dot Product Attention """ ...
Single Headed Attention RNN: Stop ThinkingWith Your Head 论文笔记
从网络到AI，从学术界到产业界，随着兴趣去逐梦
12-12 1135
1 研究动机 选择这篇论文来读，有一点奇文共欣赏的意思。 区别于现在主流的框架比拼算力，本文重新思考是不是可以通过lstm 和 单头的attention就可以在 2 研究内容和方法 3 创新点和个人点评 ...
Self-Attention与Transformer
weixin_43859153的博客
02-18 2171
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的Encoder-Decoder模型。从X翻译到Y。 但是这种方式是基于RNN模型，存在两个问题。 一是RNN存在梯度消失的问题。（LSTM/GRU只是缓解这个问题） 二是RNN 有时间上的方向性，不能用于并行操作。Transformer 摆脱了RNN这种问题。 2.Transformer 的整体框架 输入的x1,x2x...
[CS231n Assignment 3 #03] 网络可视化:显著映射、类可视化和欺骗图像
qq_41341454的博客
12-14 1408
文章目录作业介绍1. Network Visualization (PyTorch)1.1 Helper Functions2. Pretrained Model 作业介绍 作业主页：Assignment #3 作业目的: 作业源代码: StyleTransfer-TensorFlow.ipynb/StyleTransfer-PyTorch.ipynb 本作业基于 Pytorch 完成 1. Network Visualization (PyTorch) In this notebook we will
Single Headed Attention RNN: Stop Thinking With Your Head
gdtop的个人笔记
12-03 4843
这篇论文的语言真的很有趣，很多地方我翻译的不是很好大家谅解，可以尽量欣赏原文！ Abstract 语言建模的主要方法都是痴迷于我年轻时的电视节目——变形金刚和芝麻街。我们选择了老办法和经过验证的技术，并使用了一个新奇的、受密码启发的缩写：单头注意力Single Headed AttentionRNN (SHA-RNN)。作者的唯一目标是表明，如果我们沉迷于一个略有不同的缩略词和略有不同的结果...
大语言模型（LLM）内部层级 名称：残差流
最新发布
ZJQ的博客
07-30 109
大语言模型（LLM）的核心架构基于Transformer解码器结构，主要分为输入层、堆叠的解码器层和输出层。输入层通过Token嵌入和位置编码将文本转换为数值向量；解码器层包含多头自注意力、残差连接、层归一化和前馈网络等模块，实现深层语义理解；输出层通过语言模型头生成概率分布。层归一化（Layer Norm）通过标准化每层输入稳定训练，加速收敛，是Transformer架构的关键技术之一。
深度学习与NLP：斯坦福CS224N课件- Lecture3 更深入的词向量分析
"Stanford大学的CS224N课程，是深度学习与自然语言处理（NLP）的专题讲座，由Christopher Manning和Richard Socher主讲。这门课程主要探讨如何利用深度学习技术处理自然语言问题。在Lecture3中，主题深化到了词向量...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山顶夕景

小哥哥给我买个零食可好

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值