大模型调优技术：Parameter-efficient transfer learning

最新推荐文章于 2024-11-10 19:24:40 发布
最新推荐文章于 2024-11-10 19:24:40 发布
阅读量1.2k 收藏 9
点赞数 16
CC 4.0 BY-SA版权
文章标签： llama 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Shirelle_/article/details/139790181

文章目录

1. 任务特定的适配器（Task-Specific Adapters）

基本概念：

适配器是一种轻量级模块，插入到预训练模型的各层之间。
适配器模块通常包括一个降维层、非线性激活函数和一个升维层。

工作原理：

插入适配器模块：在预训练模型的每一层之间插入适配器模块。
冻结原模型参数：在微调过程中，预训练模型的参数保持不变。
更新适配器参数：只更新适配器模块的参数，使模型能够适应特定的下游任务。

优点：

适配器模块通常很小，增加的参数量较少。
适配器模块可以灵活地插入到不同层次，适应不同的任务需求。

举例：

在一个预训练的 BERT 模型中，每个 Transformer 层之间插入适配器模块。在微调过程中，只更新这些适配器模块的参数，而 BERT 模型的参数保持不变。

2. 权重近似学习（Learning Weight Approximation）

基本概念：

  • 权重近似学习通过更新低秩矩阵来近似模型的权重。
  • 这种方法通常使用低秩分解技术，如矩阵分解，将原始权重矩阵分解为两个低秩矩阵的乘积。

工作原理：

  • 低秩分解：将预训练模型的权重矩阵分解为两个低秩矩阵的乘积。
  • 冻结原模型参数：在微调过程中，预训练模型的参数保持不变。
  • 更新低秩矩阵参数：只更新低秩矩阵的参数，使模型能够适应特定的下游任务。

优点：

  • 低秩矩阵的参数
最低0.47元/天 解锁文章

200万优质内容无限畅学
Parameter-Efficient Transfer Learning for NLP
Young, Simple, Naive
01-22 2452
对于 N 个下游任务，fine-tuning 需要 N 倍预训练模型的参数量，而 Adapter 可以只用接近 1 倍的参数量实现类似的性能。
LLM微调 | Adapter: Parameter-Efficient Transfer Learning for NLP
weixin_43646592的博客
07-31 1711
LLM微调 | Adapter: Parameter-Efficient Transfer Learning for NLP
【论文笔记】Parameter-Effificient Transfer Learning for NLP
Yulki的博客
06-20 1714
克服微调训练不高效的问题，增加一些adapter模块，思想就是固定原始的网络中的参数，针对任务增加一些可以训练的参数，新任务无需重新访问以前的任务，产生高度的参数共享。与完全微调相比，仅仅增加了3.6%的参数，就接近了SOTA的结果。
【论文笔记】Parameter-Efficient Transfer Learning for NLP
小嗷犬的博客
11-10 892
参数高效的NLP迁移学习对NLP中的大型预训练模型微调是一种有效的迁移机制。然而，在存在许多下游任务的情况下，微调在参数上效率低下：每个任务都需要一个全新的模型。作为替代方案，我们提出了带有适配器模块的迁移。适配器模块产生一个紧凑且可扩展的模型；它们为每个任务仅添加少量可训练参数，并且可以添加新任务而无需重新访问之前的任务。原始网络的参数保持不变，从而实现了高度的参数共享。
【论文解读】Parameter-Efficient Transfer Learning for NLP
weixin_50862344的博客
10-20 2541
以Adapter类为例，在初始化函数中我们可以看到Adapter实际上就是一个（LayerNorm）+ 线性层/PHMLayer + 激活函数。在AdapterLayer类中的add_adapter函数，往每一层中添加了Adapter或者是ParallelAdapter。通过add_adapter调用模型父类ModelAdaptersMixin的add_adapter方法实现增加adapter。3.1.1 _add_adapter_weights函数。
论文阅读之Parameter-Efficient Transfer Learning for NLP（2019）
学习笔记
05-04 1115
微调大型预训练模型是NLP中一种有效的传递机制。然而，在存在许多下游任务的情况下，微调是参数效率低下的：每个任务都需要一个全新的模型。作为替代方案，我们建议使用适配器模块进行传输。适配器模块产生了一个紧凑且可扩展的模型；它们只为每个任务添加几个可训练的参数，并且可以添加新任务，而无需重新访问以前的任务。原始网络的参数保持固定，从而产生高度的参数共享。为了证明适配器的有效性，我们将最近提出的BERT Transformer模型转移到26个不同的文本分类任务中，包括GLUE基准。
Parameter-Efficient Transfer Learning for NLP 迁移学习+BERT1
08-03
Parameter-Efficient Transfer Learning for NLP 迁移学习+BERT Parameter-Efficient Transfer Learning for NLP 迁移学习+BERT 是一篇关于自然语言处理领域的研究论文，论文提出了一种高效的迁移学习方法，可以在...
【论文速读】Adapter tuning：Parameter-Effificient Transfer Learning for NLP
weixin_43457608的博客
10-14 1252
对大型预训练模型进行微调是自然语言处理中一种有效的传递机制。然而，在存在许多下游任务的情况下，微调是参数效率较低的：每个任务都需要一个全新的模型。**作为一种替代方案，我们建议使用适配器模块进行传输。适配器模块产生一个紧凑和可扩展的模型；它们每个任务只添加一些可训练参数，可以添加新的任务而无需重新访问以前的任务。原网络的参数保持不变，产生了高度的参数共享。**为了证明适配器的有效性，我们将最近提出的BERT变压器模型转移到26个不同的文本分类任务中，包括GLUE基准测试。
Adapter Tuning：详细解读Parameter-Efficient Transfer Learning for NLP
沉迷单车的追风少年
06-04 1885
大语言模型实在是太火了，各种技术日新月异，研究diffusion models的从LLMs中找一些研究灵感已经是基操了。当模型比较小的时候，微调全部参数还是可以的。但是现在的大预训练模型时代，微调所有参数不仅效果堪忧，对资源的消耗也非常恐怖，所以这就是做有效微调的初衷。为了研究清楚如何进行有效的大模型微调，我打算沿着Adapter Tuning——Prefix Tuning——Prompt Tuning——P-Tuning——lora的路线详细讲解一下，希望可以对做diffusion models的同学有所
论文阅读：Towards a Unified View of Parameter-Efficient Transfer Learning对参数高效迁移学习的统一看法
zag666的博客
05-26 2226
参数高效的微调在NLP中是较新的方法，早期的代表工作是2019年发表的adapter。2021年开始有越来越多的人关注这一方向并有不同的方法被提出， 代表工作有prefix tuning, P-tuning, prompt tuning, bitfit, LoRA等。本文中提供了统一的角度对这些工作进行了分类。
​ACL 2023 | ProPETL：一种高效的Parameter-Efficient迁移学习方法
Paper weekly
06-15 431
©PaperWeekly 原创 ·作者 |曾广韬单位 |新加坡设计科技大学我们很高兴向大家分享我们在 ACL 2023 上发表的关于大模型、parameter-efficient transfer learning 方向的最新工作。论文标题：One Network, Many Masks: Towards More Parameter-Efficient Transfer Learning论...
Parameter-efficient transfer learning系列之Adapter
zenRRan的博客
08-22 1477
每天给你送来NLP技术干货！来自：NLP日志提纲1简介2 Adapter3 Adapter fusion4总结参考文献1 简介目前在大规模预训练模型上进行finetune是NLP中一种高效的迁移方法，但是对于众多的下游任务而言，finetune是一种低效的参数更新方式，对于每一个下游任务，都需要去更新语言模型的全部参数，这需要庞大的训练资源。进而，人们会尝试固定语言预训练模型大部分网络...
Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation讲解
Susan Wong
03-16 1037
大家好, 今天为大家分享的是来自腾讯的一篇收录到顶会SIGIR的一篇论文, Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation,论文共有11页,我大概会用25分钟左右的时间为大家进行讲述,如果有小伙伴之前有看过这篇文章,那么在讲述的过程中发现有些遗漏或者理解有偏差的话,欢迎及时指正; 现在正式开始, 首先介绍一下作者,一作是原发杰博士, 攻读博士及腾讯工作期间主要从事机器学习相
论文阅读之推荐1-Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation
Susan Wong
03-17 2411
Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation1.0 摘要总结参考文章 1.0 摘要 总结 参考文章 https://arxiv.org/pdf/2001.04253.pdf https://github.com/fajieyuan/sigir2020_peterrec https://cloud.tencent.com/developer/article/163003
掌握大模型这些优化技术，优雅地进行大模型的训练和推理！
机器学习社区
01-20 2358
ChatGPT于2022年12月初发布，震惊轰动了全世界，发布后的这段时间里，一系列国内外的大模型训练开源项目接踵而至，例如Alpaca、BOOLM、LLaMA、ChatGLM、DeepSpeedChat、ColossalChat等。不论是学术界还是工业界，都有训练大模型来优化下游任务的需求。
一文讲懂大模型调优技术
异构算力老群群（在读985计算机博士生）的技术博客
09-04 4137
大模型调优是一项复杂而富有挑战性的工作。本文全面解析了大模型调优的关键技术，包括数据预处理与增强、模型架构调整、超参数优化、正则化与泛化能力提升以及分布式训练与并行优化等方面。希望这些技术能够帮助开发者更加高效地利用和优化大模型，推动人工智能技术的进一步发展。
大模型训练优化方法
python12222_的博客
07-03 4024
在训练模型尤其是大模型的时候，如何加快训练速度以及优化显存利用率是一个很关键的问题。本文主要参考HF上的一篇文章：https://huggingface.co/docs/transformers/perf_train_gpu_one，以及笔者在实际训练中的一些经验，给出一些比较实用的方法。方法加快训练速度优化显存利用率YesYesNoYesNoYesYesNoYesYesYesNoNoYesYesNo。
18种大模型指令调优方法分享，附模型源码
学姐带你玩AI的博客
11-15 3165
一种针对大型语言模型（LLMs）的训练方法，该方法的核心目标是使LLM具备遵循自然语言指令并完成现实世界任务的能力。它弥补了LLM的下一个单词预测目标与用户让LLM遵循人类指令的目标之间的差距，约束了模型的输出，使其符合预期的响应特征或领域知识。随着计算机技术的发展，指令调优在一些需要执行特定任务的场景上，如机器翻译、问答系统等，都有着广泛的应用前景。为帮助大家理解并掌握IT，我这次整理了每个方法的原文及模型源码也都整理了，需要的同学看文末。
第8章 大模型的评估与调优8.2 超参数调优8.2.2 调优技术与工具
AI天才研究院
01-20 849
1.背景介绍 1. 背景介绍 在深度学习领域，模型的性能是通过训练数据集来评估的。在训练过程中，模型需要调整一些超参数，以便在验证集上获得最佳的性能。这些超参数包括学习率、批量大小、网络结构等。在本章中，我们将讨论如何对大模型进行评估与调优，特别关注超参数调优的技术与工具。
大模型微调最新论文
最新发布
06-05
4. **Adapters for Parameter-Efficient Transfer Learning** Adapters 方法通过在预训练模型中插入小型模块（adapters）来实现参数高效的迁移学习。这些模块仅占原模型参数的一小部分，但能够显著提升特定任务上...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值