『NLP学习笔记』如何理解Transformer中的Q,K,V以及Mask[补充深度学习中的FLOPs是什么？如何计算]

已于 2023-08-17 13:57:24 修改
阅读量1.2k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： NLP学习笔记 文章标签： Transformer NLP torch.max mask flops
于 2022-10-12 23:56:22 首次发布
引用请附上作者博客链接https://zhangkaifang.blog.csdn.net/，谢谢理解！
本文链接：https://blog.csdn.net/abc13526222160/article/details/127292483
本文详细介绍了Transformer中的Q、K、V的理解，包括它们的线性变换、自注意力计算过程，解释了为什么叫做自注意力网络以及为何没有位置信息。此外，还阐述了Transformer中的mask机制，分为Attention Mask和Padding Mask，防止标签泄露并处理非定长序列。同时，文章补充了torch.max()和torch.topk()在深度学习中的作用。最后，解释了深度学习中的FLOPs概念及其计算方法，用于评估模型复杂度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如何理解Transformer中的Q,K,V以及Mask[补充深度学习中的FLOPs是什么？如何计算]

文章目录

了解本专栏 订阅专栏 解锁全文 超级会员免费看
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI大模型前沿研究

感谢您的打赏，我会继续努力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值