大模型微调学习之旅① — 书生·浦语大模型全链路开源体系

大模型微调学习之旅的起点

  通过学长的推荐了解到了书生·浦语，现阶段大模型呈井喷式的发展，身为人工智能的学生，感觉不应该局限于简单的调用大模型，而是应该根据实际的需求微调出符合自己情况的大模型，所以就加入了书生·浦语大模型的培训营，接下来让我们开始大模型微调学习之旅！！！

目录

大模型微调学习之旅的起点

前言

一、书生·浦语大模型全链路开源体系是什么？

二、数据

三、预训练

四、微调

五、评测 

六、部署

七、智能体 

总结

前言

    当前的大模型进入了”百模大战“时代，截止到2023.10.8全球已经发布的大模型超200个，中美的数量占全球的九成。2023年大模型突然遍地开花，井喷式发展，尤其是后半年，几乎大部分科技公司、学术团体、研究机构、以及学生团队都在发布各自的大模型，大模型不在是”独家”，它的上手难度和成本在逐步的下降。而大模型的更进一步的发展，那就是开源，这样做会吸引大量的科技公司、学术团体、研究机构等去进行二创，一旦规模达到一定程度，那么就会形成生态。而[书生·浦语」大模型，它就是选择了开源这条路，把所有的内容都开源出来。

想学习的请看链接：

• 书生·浦语大模型全链路开源体系B站讲解
• github链接：GitHub - InternLM/tutorial
• InternLM：InternLM · GitHub
• 书生浦语官网：书生

一、书生·浦语大模型全链路开源体系是什么？

下图为书生·浦语大模型全链路开源体系

1. 数据：汇聚 5400+ 数据集，涵盖多种模态与任务
2. 预训练：并行训练，极致优化，速度达到 3600 tokens/sec/gpu
3. 微调：全面的微调能力，支持SFT，RLHF和通用工具调用
4. 部署：全链路部署，性能领先，每秒生成 2000+ tokens
5. 评测：全方位评测，性能可复现，50 套评测集，30 万道题目