THUNLP 领读 ICLR 低秩微调大模型（LoRA)【OpenBMB论文速读】第3期_哔哩哔哩_bilibili💡用脑图！⏰十分钟！OpenBMB【论文速读】第3 期来了！本期领读人是清华大学自然语言处理实验室的本科生，带大家高效读完一篇关于“ 低秩微调 ”的大模型顶会论文🛎：LoRA: Low-Rank Adaptation of Large Language Models (ICLR 2022)，如果大家觉得有帮助，欢迎一键三连~ 你的支持是我们制作的动力💕, 视频播放量 1201、弹幕量 0、点赞数 86、投硬币枚数 17、收藏人数 42、转发人数 4, 视频作者 OpenBMB, 作者简介 OpenBMB开源社区 大模型课程 AI最前沿 QQ群：735930538 公众号“OpenBMB开源社区”，相关视频：清华博后带你轻松吃透Prompt Tuning顶会大模型论文【OpenBMB论文速读】第 1 期，清华刘知远大模型十问，清华博后带读ACL提示预训练大模型论文【OpenBMB论文速读】第 2 期，会Excel 就能玩转大模型？你不知道的「模
超级会员免费看
LoRA是一种针对大语言模型的低秩适应方法，通过低秩矩阵分解减少微调过程中的参数量。它在预训练模型权重冻结的基础上，仅优化新增的低秩分解矩阵，有效降低计算开销，适用于Transformer模型的各线性层。实验表明，LoRA在保持性能的同时，减少了参数数量，验证了模型适应过程中参数变化的低秩假设。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
