【LLM模型篇】LLaMA2 | Vicuna | EcomGPT等

已于 2024-06-29 11:43:58 修改
阅读量3.8k 收藏 26
点赞数 3
CC 4.0 BY-SA版权
分类专栏： LLM大模型 自然语言处理 深度学习 文章标签： 大模型 模型微调 垂直大模型
于 2023-09-02 20:52:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35812205/article/details/131802309

文章目录

一、LLM模型

chatglm2模型

ChatGLM2-6B 训练参数解释
ChatGLM-6B 的部署与微调以及过程中涉及知识总结(7.26更新)
ChatGLM P-Tuning v2 避坑指南

小样本（100条）微调，建议 num_train_epochs（最大迭代轮数） =20 才能稳定拟合任务要求
ps：百度文心千帆平台微调建议，100条数据时, Epoch为15，1000条数据时, Epoch为10，10000条数据时, Epoch为2。

chatglm130b模型

不同于 BERT、GPT-3 以及 T5 的架构，是一个包含多目标函数的自回归预训练模型。该模型有一些独特的优势：

双语：同时支持中文和英文。

高精度（英文）：在公开的英文自然语言榜单 LAMBADA、MMLU 和 Big-bench-lite 上优于 GPT-3 175B（API: davinci，基座模型）、OPT-175B 和 BLOOM

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM 大模型学习必知必会系列(一)：大模型基础知识篇
丨汀、的博客
05-09 2398
LLM 大模型学习必知必会系列(一)：大模型基础知识篇
NLP高频面试题（三十）——LLama系列模型介绍，包括LLama LLama2和LLama3
WeLearnNLP
04-01 723
本文深入介绍Meta推出的LLama系列模型，包括LLama、LLama2和LLama3，探讨了它们的技术创新、应用场景以及对大语言模型发展的重要推动作用。通过系统地回顾各代模型的进化过程，分析其核心特性与技术亮点，为读者提供全面且深入的理解。
LLM大模型
a910247的博客
02-03 510
在预训练阶段，LLM模型通过无监督学习从大规模的文本数据中学习语言的统计特征和语义信息。LLM模型是一种用于自然语言处理的语言模型，它是基于预训练的深度学习模型。LLM代表"Language Learning Model"，它的目标是通过大规模的文本数据来学习语言的表示和语义理解。在应用阶段，LLM模型可以用于各种自然语言处理任务，如文本分类、命名实体识别、情感分析等。LLM模型的优点是能够学习到丰富的语义表示，具有较好的泛化能力。它在自然语言处理任务中取得了很好的效果，并且被广泛应用于各种实际场景中。
【万字长文】LLM大模型技术原理深度解析，零基础入门到精通，收藏这篇就够了
最新发布
WANGJUNAIJIAO的博客
06-28 1087
本文基于Llama 3报告，概述了现代大语言模型(LLM)的核心技术与训练流程。主要内容包括： 现代LLM训练分为预训练(15T多语言数据)和后训练(SFT、DPO等)两阶段，关键因素在于数据规模、模型参数和复杂度管理 技术要点涵盖： 预训练：数据清洗(去重、PII过滤)、架构优化(GQA、KV Cache等) 后训练：SFT、RLHF、DPO等对齐方法 推理优化：PagedAttention、数据并行等加速技术 评估显示405B模型在知识任务(MMLU)表现突出，70B模型在指令跟随(IFEval)接近C
LLM 大模型
法海你懂不?
06-13 453
https://my.oschina.net/oscpyaqxylk/blog/8727824
LLM模型整理
weixin_50862344的博客
04-29 257
https://github.com/mooler0410/llmspracticalguide
老码农眼中的大模型（LLM）
我相信......
04-24 5519
即便全力奔跑，也不一定能跟上时代的步伐。但如果失去了学习的动力，很可能会被时代淘汰。而且，当时代淘汰我们的时候，往往不会有任何预警。基于大模型的 ChatGPT 给我们带来了极大的震撼，那么什么是大模型呢？1.大型语言模型大型语言模型 (LLM) 被简称为大模型，是一类基础模型。这些模型可以通过微调转移到许多下游任务，因为它们已经在大量无监督和非结构化数据的情况下进行了训练。像 GPT-3 或 B...
ChatGPT论文：大语言模型LLM之战:Dolly、LLaMA 、Vicuna、Guanaco、Bard、ChatGPT--在自然语言转SQL(NL2SQL、Text-to-SQL)的比较（二）
程序员成长软技能
01-06 1868
论文原文：Battle of the Large Language Models: Dolly vs LLaMA vs Vicuna vs Guanaco vs Bard vs ChatGPT - A Text-to-SQL Parsing Comparison
大语言模型之LlaMA系列-LlaMA 2及LlaMA_chat(下)
aidashuju的博客
09-26 1661
沿用了Llama 1的设计与架构：RoPE、RMSNorm、SwiGLU+AdamWLlama 2采用了Llama 1中的大部分预训练设置和模型架构，包括标准Transformer架构、使用RMSNorm的预归一化、SwiGLU激活函数和旋转位置嵌入(RoPE)。采用AdamW 优化器进行训练，其中β1=0.9，β2=0.95，eps=10−5β1=0.9，β2=0.95，eps=10−5。同时使用余弦(consin)学习率表, 预热2000 步，并最终将学习率衰减到了峰值学习率的10%。
LLM大模型从入门到精通（1）--LLM基础知识介绍
qq_45591302的博客
07-09 1298
llm是一种人工智能模型, 旨在理解和生成人类语言. 大语言模型可以处理多种自然语言任务，如文本分类、问答、翻译、对话等等.通常, 大语言模型 (LLM) 是指包含数千亿 (或更多) 参数的语言模型(目前定义参数量超过10B的模型为大语言模型)，这些参数是在大量文本数据上训练的，例如模型 GPT-3、ChatGPT、GLM、BLOOM和LLaMA等.
大模型LLM深入浅出、主打通俗易懂
SmallTenMr的博客
09-20 3600
众所周知，如果想直接训练蓝色的原始模型，将是十分耗费资源，需要8张A100显卡(A100目前市场价格13万一个)，并且训练中耗费大量电力资源(OpenAI的chatGPT-3训练一次的成本约为140万美元)，而为了节省资源，LoRA思想是将右边橘色的两个模型，先分别初始化为高斯分布和0，训练的时候固定预训练语言模型的参数(蓝色部分)，只训练降维矩阵 A 与升维矩阵 B，而模型的输入输出维度不变，输出时将 BA 与预训练语言模型的参数叠加。根据上述已知信息，简洁和专业的来回答用户的问题。
大模型(LLM)总结
AI研究院
06-09 777
九号：总结开源可用的Instruct/Prompt Tuning数据440 赞同 · 4 评论文章**如有本文未提到的大模型，欢迎读者评论区留言。
LLM大模型综述
zh515858237的专栏
01-10 3万+
LLM其实就是large language model，大语言模型。如果对“最终任务”进一步进行分类，又大致可以分为两大不同类型的任务：自然语言理解类任务和自然语言生成类任务。如果排除掉“中间任务”的话，典型的自然语言理解类任务包括文本分类、句子关系判断、情感倾向判断等，这种任务本质上都是分类任务，就是说输入一个句子（文章），或者两个句子，模型参考所有输入内容，最后给出属于哪个类别的判断。自然语言生成也包含很多NLP研究子方向，比如聊天机器人、机器翻译、文本摘要、问答系统等。
LLMs之Mixtral：Mixtral 8x7B(高质量的稀疏专家混合模型)的简介、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-12 6922
​ LLMs之Mixtral：Mixtral 8x7B(高质量的稀疏专家混合模型)的简介、安装、使用方法之详细攻略 目录 Mixtral 8x7B的简介 Mixtral 8x7B的安装 Mixtral 8x7B的使用方法 Mixtral 8x7B的简介 2023年12月11日，Mistral AI团队发布了高质量的稀疏专家混合模型Mixtral 8x7B。Mistral AI继续致力于向开发者社区提供最优秀的开放模型。在人工智能领域取得更大进展需要超越重新利用众所周
通向 AGI 之路：大型语言模型（LLM）技术精要
人工智能学家
01-10 2万+
来源：AI科技评论作者：张俊林本文经授权转载自知乎：https://zhuanlan.zhihu.com/p/597586623?utm_campaign=shareopn&utm_medium=social&utm_oi=37478916423680&utm_psn=1595705313004679168&utm_source=wechat_timeline&am...
一口气搞懂 LLM 大模型！LLM架构小白从入门到精通
专注AI大模型,软件混淆,授权
10-14 1807
LLM（Large Language Model）是基于大量文本数据训练的大规模深度学习模型，能够理解、生成和操作自然语言。通过大量数据的训练，LLM 学会了语言的规则、模式、上下文关系等，并能够生成连贯、自然的文本。以 OpenAI 的 GPT（Generative Pre-trained Transformer）为例，GPT 系列是最著名的 LLM，它通过在互联网上的海量文本数据上进行预训练，掌握了丰富的语言信息。
【大模型应用开发教程】01_大模型简介
KEEP的博客
10-15 1734
大语言模型（英文：Large Language Model，缩写LLM），也称大型语言模型，是一种人工智能模型，旨在理解和生成人类语言。 通常，大语言模型 (LLM) 指包含数百亿（或更多）参数的语言模型，这些模型在大量的文本数据上进行训练，例如国外的有GPT-3 、GPT-4、PaLM 、Galactica 和 LLaMA 等，国内的有ChatGLM、文心一言、通义千问、讯飞星火等。
LLM（大语言模型）——大模型简介
热门推荐
telescopewang的博客
02-04 4万+
ChatGPT 的巨大成功激发了越来越多的开发者兴趣，他们希望利用 OpenAI 提供的 API 或者私有化模型，来开发基于大型语言模型的应用程序。尽管大型语言模型的调用相对简单，但要创建完整的应用程序，仍然需要大量的定制开发工作，包括API集成、互动逻辑、数据存储等等。为了解决这个问题，从 2022 年开始，许多机构和个人相继推出了多个开源项目，旨在帮助开发者们快速构建基于大型语言模型的端到端应用程序或工作流程。其中一个备受关注的项目就是 LangChain 框架。
大语言模型（LLM）及使用方法
FL1717的博客
06-08 4390
大语言模型（LLM，Large Language Model）是一种基于深度学习的自然语言处理技术，它使用深度神经网络来学习自然语言的统计规律，以便能够自动地生成、理解和处理自然语言。大语言模型（LLM）是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。训练数据集：ChatGPT的训练数据集通常是大规模的自然语言文本数据集，例如维基百科、新闻报道、社交媒体帖子等。必应 (bing.com)
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山顶夕景

小哥哥给我买个零食可好

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值