Llama3-8B+ LLaMA-Factory 中文微调

最新推荐文章于 2024-11-20 23:36:04 发布
最新推荐文章于 2024-11-20 23:36:04 发布
阅读量9.6k 收藏 21
点赞数 20
CC 4.0 BY-SA版权
分类专栏： 大模型 文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84052244/article/details/138123439
本教程详细介绍了如何使用LLaMA-Factory对Llama3-8B-Instruct模型进行中文微调，通过在魔搭社区或Huggingface下载模型，然后克隆并安装LLaMA-Factory，创建虚拟环境，安装依赖，最后进行模型训练和导出，以增强模型在中文环境下的表现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Llama3-8B+ LLaMA-Factory 中文微调

Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！

本教程就以Llama3-8B-Instruct开源模型为模型基座，通过开源程序LLaMA-Factory来进行中文的微调，提高Llama3的中文能力！LLaMA-Factory是一个开源的模型训练工具

Llama3-8B-Instruct模型下载地址：

魔搭社区（境内）：https://modelscope.cn/models/LLM-Research/Meta-Llama-3-8B-Instruct/files

huggingface（境外）：https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct/tree/main

LL

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Llama 越狱探索 Llama-3.1-8B-Instruct去除限制过程
代码简单说 Vue、JAVA、PHP、Node.js 熟练运用，接口、架构、性能全搞定。
10-26 1758
解除 Llama 模型的限制虽然能够提升生成自由度，但也可能会带来一些潜在的风险。因此在实际应用中，应对去除限制的模型进行严格监管与监控，避免因模型内容生成不当而引发意外后果。此外，也要确保遵守使用政策和道德准则，以保证模型的合理使用。总结而言，去除 Llama-3.1-8B-Instruct 的限制涉及对模型配置、参数及自我审查逻辑的调整。通过细致调整这些参数，既可以实现去除限制的目标，又可以保持模型在不同时态和内容下的响应性。
大模型实战—Llama3-8B 中文微调
热门推荐
04-25 8万+
Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！本教程就以Llama3-8B-Instruct开源模型为模型基座，通过开源程序LLaMA-Factory来进行中文的微调，提高Llama3的中文能力！
服务器部署llama3 并利用LLaMA-Factory实现微调
m0_56299345的博客
08-26 2784
服务器部署llama3 并利用LLaMA-Factory实现微调
基于llama3-8B-instruct的调用部署以及lora微调
Alexa_的博客
06-17 3017
LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。
教程：利用LLaMA_Factory微调llama3:8b大模型
m0_60683691的博客
05-06 4802
在存放模型空白处右键，点击git bash here，下载llama3模型至本地由于文件较大，因此该过程比较久，保持下载窗口打开，知道出现下一命令行表示下载完成。
Llama3-chinese: 大幅改进Llama3 中文能力
qq_44193969的博客
04-22 7975
是以Meta-Llama-3-8B为底座，使用DORALORA+的训练方法，在50w高质量中文多轮SFT数据 + 10w英文多轮SFT数据 + 2000单轮自我认知数据训练而来的大模型。
使用LLaMA-Factory微调ChatGLM3
weixin_44455388的博客
12-25 6459
解决方法：将源模型中除了bin文件和pytorch_model.bin.index.json 以外的文件全部复制到导出目录中覆盖。待执行完，即可看到/root/LLaMA-Factory-main/merge路径下有了合并的模型了。（3）启动LLaMA-Factory的web页面。输入微调数据中的问题，回答贴合数据集，微调成功。将数据梳理好之后上传到data目录下。web页面和后台都会显示日志信息。可以看到也是没问题的。
使用LLaMA-Factory进行模型微调（LLama3-8B-instruct）
guosongrui001的专栏
09-14 1750
这里需要注意的是，自己制作的数据集是需要在data/dataset_info.json 这个文件中进行注册的。中间有大量的已经注册过的数据集，可以自己参考找到类似的注册信息，自行添加在文件最后。"hf_hub_url": "HuggingFaceTB/cosmopedia", #这是在HuggingFaceTB/cosmopedia中的名称。"file_name": "dpo_zh_demo.json", #数据集文件名，如果不在当前路径需要包含当前路径。8 使用合并模型推理。
免费微调自己的大模型(llama-factory微调llama3.1-8b)
ATpiu的博客
11-20 1049
本文主要介绍通过llama-factory框架，使用Lora微调方法，微调meta开源的llama3.1-8b模型，平台使用的是趋动云GPU算力资源。
Llama3-8B-Chinese-Chat 第一个使用ORPO微调的中文Llama3模型
2401_84052244的博客
05-02 4103
我们最新提供了GGUF版本的Llama3-8B-Chinese-Chat模型，共有FP16和8bit量化两个版本可选，模型下载链接如下：FP16版本：8bit量化版本：如题目所示，我们开源了Llama3-8B-Chinese-Chat模型（基于Llama3-8B-Instruct[微调，模型下载请详见下面的huggingface链接），这是。
Llama3软件下载，无需科学即可使用，本地
09-12
Llama3软件下载，无需科学即可使用，本地安装直接使用，安装配置方法可看我发布的教程
Llama3模型+Windows本地运行软件（下载地址）
05-20
​ Meta放出Llama3模型了，也应该是这段时间里的一个科技大新闻了。 Llama一直都是开源大语言模型的领头羊驼。 而Llama3又是所有羊驼中最新的领头羊。 可以简单地来看一下官方的对比数据。 下面是Llama3和谷歌Gemma以及法国的Mistral开源版的对比，以及Llama3 70B和gemini和Claude3闭源版的对比。 关于Llama3具体有多牛X，这样的内容我就不写了。网上新闻一大堆！ 我就说说怎么在我们自己的电脑上玩起来。 这才是我们该关心的核心问题。 Llama3的衍生模型非常多，整个生态也发展的特别好，所以支持的工具也特别多。根本无需自己去配置，写代码，加载模型和做模型交互。有一大堆现成的“基础设施”可以用！ 今天还是用可视化的GUI软件来运行Llama3，是个人都会的那种软件。 这里说的软件就是，这是一款基于llama.cpp，可以运行几乎所有主流大语言模型的应用程序。 由于软件主要是使用CPU来运行，所以基本上所有电脑都可以使用！！！ 如果关注我比较久，应该已经看到过相关的文章。已经有软件的
meta-llama-3-8b-instruct 的 model-00004-of-00004.safetensors
05-29
meta-llama-3-8b-instruct 的 model-00004-of-00004.safetensors
在linux上下载llama3-8B模型权重
JACK_GEN123的博客
05-10 2682
Meta公司在前不久发布了llama3开源大语言模型，今天介绍一下如何通过huggingface-cli命令行工具下载模型8B参数量的模型权重文件。
首发！Llama3纯本地部署攻略！中文方法！
XD的博客
04-22 1万+
完成了LLAMA3的模型部署，从测试的结果可以看到， llama3的基础模型对于中文的支持并不好，我们的问题是中文，它却返回了英文的结果，原因可能是因为它的训练集有15个T但是其中95%是英文，想要它支持中文更好，还需要使用中文的训练集进行微调，可喜的是，微调llma系列的中文训练集并不少（可能是因为llama系列都有这个问题），后续我会接着对llama3进行微调， 待续。。。
在阿里云上部署Llama3（中文版本）
2401_83692861的博客
04-22 2216
默认情况下直接运行以下代码即可体验llama3中文对话，请自行修改。2.新建requirements.txt文件，插入。1.新建conda环境。
本地部署 Meta Llama3-8b 和 Llama3-70b
engchina的专栏
04-19 1万+
本地部署 Meta Llama3-8b 和 Llama3-70b
Llama 3 微调项目实践与教程（XTuner 版）
强化学习曾小健
04-20 1650
到此为止我们就让 Llama3 具备了“他是由SmartFlowAI 打造的人工智能助手”的个人认知，本文演示平台为 InternStudio，如其他平台只需适当调整相关路径也能比较顺畅的运行起来，XTuner 玩转 Llama3 图片理解更多玩法请参考：https://github.com/SmartFlowAI/Llama3-XTuner-CN/ （欢迎 Star），同时本周天晚 8 点我们邀请了书生·浦语众多社区大佬一起来分享，欢迎预约直播一起讨论。或者软链接 InternStudio 中的模型。
Llama3本地部署及API接口本地调试，15分钟搞定最新Meta AI开源大模型本地Windows电脑部署
程序员陆通
04-21 2万+
你知道国内大模型多少是基于Llama2改造的，你就知道Llama模型有多厉害了，那么现在Llama3刚出来，搞自媒体的赶紧蹭Llama3的流量，搞技术的程序员赶紧抓住研究一下，看能否技术变现一下，尤其搞技术的，再不动到时年龄大了被裁员了不要怨天怨地的！
llama3-8b中文指令微调
最新发布
12-28
### Llama3-8B 模型中文指令微调的方法 #### 准备工作 为了对Llama3-8B模型进行有效的中文指令微调，需准备合适的环境和资源。确保安装了必要的依赖库并配置好硬件设备，如GPU支持CUDA运算。 #### 数据集构建 创建...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值