LLM的发展简述

已于 2024-08-29 16:11:30 修改
阅读量606 收藏 12
点赞数 28
CC 4.0 BY-SA版权
分类专栏： NLP&机器学习 文章标签： llm nlp transformer gpt bert
于 2024-08-29 16:08:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36803941/article/details/141680099

文章目录

1. NLP的发展简史

信息理论的创立：20世纪50年代，Claude Shannon 奠定了信息理论的基础，引入了熵和冗余等概念，对 NLP 和计算语言学产生了深远影响。

形式语法的发展：1957年，Noam Chomsky 提出语法和语法规则的理论，为自然语言的形式化分析提供了结构，对早期计算语言学的发展产生了重要影响。

早期计算模型：隐马尔可夫模型（HMM）和 n-gram 模型是早期理解自然语言的计算模型，HMM在语音识别等领域发挥了关键作用，而 n-gram 模型则在语言建模方面成为长期标准。其中，HMM 相关可以查阅：
《NLP深入学习（五）：HMM 详解及字母识别/天气预测用法》

神经网络模型的兴起：90年代初，循环神经网络（RNN）和长短期记忆（LSTM）网络被开发，它们能够学习序列数据中的模式，对语言建模至关重要。

词嵌入技术：随后，LSA 和 Word2Vec 等技术允许对单词进行向量化表示，词嵌入捕捉了单词间的语义关系，显著提升了 NLP 任务的性能。其中，词嵌入相关可以查阅：
《NLP 词嵌入向量即word embedding原理详解》

注意力机制与Transformer：2014年，Bahdanau 等人引入注意力机制，改进了机器翻译。2017年，Vaswani 等人提出 Transformer 架构，完全基于注意力机制，提高了训练效率和性能。其中，Transformer 相关可以查阅：
《NLP深入学习：大模型背后的Transformer模型究竟是什么？(一)》
《NLP深入学习：大模型背后的Transformer模型究竟是什么？(二)》

BERT及其衍生模型：2018年，Devlin等人提出的 BERT 引入了双向转换器模型，改变了 NLP 领域。随后出现了RoBERTa、ALBERT 和 T5 等模型，它们针对特定任务进行了优化，提高了效率和性能。其中，BERT 相关可以查阅：
《NLP深入学习：结合源码详解 BERT 模型（一）》
《NLP深入学习：结合源码详解 BERT 模型（二）》
《NLP深入学习：结合源码详解 BERT 模型（三）》

GPT模型的发展：从2018年的 GPT-1 到2020年的 GPT-3，这些模型通过在大型文本语料库上的预训练，然后在特定任务上微调，不断刷新 NLP 应用的性能标准。其中，GPT 相关可以查阅：
《详解GPT-1到GPT-3的论文亮点以及实验结论》
《详解GPT-4论文《GPT-4 Technical Report》》

2. LLM 的进展

下表是 LLM 近些年来的进展总结：

模型开发者架构参数量训练数据应用发布时间价值配置
BERTGoogleTransformer (Encoder)340 million (large)Wikipedia, BooksCorpusSentiment analysis, Q&A, named entity recognitionOct-18HighGPU (e.g., NVIDIA V100), 16GB RAM, TPU
GPT-2OpenAITransformer1.5 billionDiverse internet textText generation, Q&A, translation, summarizationFeb-19MediumGPU (e.g., NVIDIA V100), 16GB RAM
XLNetGoogle/CMUTransformer (Autoregressive)340 million (large)BooksCorpus, Wikipedia, Giga5Text generation, Q&A, sentiment analysisJun-19MediumGPU (e.g., NVIDIA V100), 16GB RAM
RoBERTaFacebookTransformer (Encoder)355 million (large)Diverse internet textSentiment analysis, Q&A, named entity recognitionJul-19HighGPU (e.g., NVIDIA V100), 16GB RAM
DistilBERTHugging FaceTransformer (Encoder)66 millionWikipedia, BooksCorpusSentiment analysis, Q&A, named entity recognitionOct-19HighGPU (e.g., NVIDIA T4), 8GB RAM
T5GoogleTransformer (Encoder-Decoder)11 billion (large)Colossal Clean Crawled Corpus (C4)Text generation, translation, summarization, Q&AOct-19HighGPU (e.g., NVIDIA V100), 16GB RAM, TPU
ALBERTGoogleTransformer (Encoder)223 million (xxlarge)Wikipedia, BooksCorpusSentiment analysis, Q&A, named entity recognitionDec-19MediumGPU (e.g., NVIDIA V100), 16GB RAM
CTRLSalesforceTransformer1.6 billionDiverse internet textControlled text generationSep-19MediumGPU (e.g., NVIDIA V100), 16GB RAM
GPT-3OpenAITransformer175 billionDiverse internet textText generation, Q&A, translation, summarizationJun-20HighMulti-GPU setup (e.g., 8x NVIDIA V100), 96GB RAM
ELECTRAGoogleTransformer (Encoder)335 million (large)Wikipedia, BooksCorpusText classification, Q&A, named entity recognitionMar-20MediumGPU (e.g., NVIDIA V100), 16GB RAM
ERNIEBaiduTransformer10 billion (version 3)Diverse Chinese textText generation, Q&A, summarization (focused on Chinese)Mar-20HighGPU (e.g., NVIDIA V100), 16GB RAM
Megatron-LMNVIDIATransformer8.3 billionDiverse internet textText generation, Q&A, summarizationOct-19HighMulti-GPU setup (e.g., 8x NVIDIA V100), 96GB RAM
BlenderBotFacebookTransformer (Encoder-Decoder)9.4 billionConversational datasetsConversational agents, dialogue systemsApr-20HighGPU (e.g., NVIDIA V100), 16GB RAM
Turing-NLGMicrosoftTransformer17 billionDiverse internet textText generation, Q&A, translation, summarizationFeb-20HighMulti-GPU setup (e.g., 8x NVIDIA V100), 96GB RAM
Megatron-Turing NLGMicrosoft/NVIDIATransformer530 billionDiverse internet textText generation, Q&A, translation, summarizationOct-20HighMulti-GPU setup (e.g., 8x NVIDIA A100), 320GB RAM
GPT-4OpenAITransformer~1.7 trillion (estimate)Diverse internet textText generation, Q&A, translation, summarizationMar-23HighMulti-GPU setup (e.g., 8x NVIDIA A100), 320GB RAM
Dolly 2.0DatabricksTransformer12 billionDatabricks-generated dataText generation, Q&A, translation, summarizationApr-23HighGPU (e.g., NVIDIA A100), 40GB RAM
LLaMAMetaTransformer65 billion (LLaMA 2)Diverse internet textText generation, Q&A, translation, summarizationJul-23HighMulti-GPU setup (e.g., 8x NVIDIA A100), 320GB RAM
PaLMGoogleTransformer540 billionDiverse internet textText generation, Q&A, translation, summarizationApr-22HighMulti-GPU setup (e.g., 8x NVIDIA A100), 320GB RAM
ClaudeAnthropicTransformerUndisclosedDiverse internet textText generation, Q&A, translation, summarizationMar-23HighMulti-GPU setup (e.g., 8x NVIDIA A100), 320GB RAM
ChinchillaDeepMindTransformer70 billionDiverse internet textText generation, Q&A, translation, summarizationMar-22HighGPU (e.g., NVIDIA A100), 40GB RAM
BloomBigScienceTransformer176 billionDiverse internet textText generation, Q&A, translation, summarizationJul-22HighMulti-GPU setup (e.g., 8x NVIDIA A100), 320GB RAM

3. 参考

https://dzone.com/articles/llms-progression-and-path-forward

欢迎关注本人，我是喜欢搞事的程序猿； 一起进步，一起学习；

欢迎关注知乎/CSDN：SmallerFL

也欢迎关注我的wx公众号（精选高质量文章）：一个比特定乾坤

请添加图片描述

【人工智能】LLM 大型语言模型发展历史
AI天才研究院
05-28 1万+
大型语言模型（Large Language Models，LLM）是指基于神经网络模型的自然语言处理技术，它可以通过大规模的训练数据和计算资源来预测自然语言文本的下一个词或句子。近年来，由于技术的不断进步和计算资源的不断增加，LLM已成为自然语言处理领域的一个热门技术。本文将从LLM的发展历史、技术原理、应用场景和未来发展趋势等方面进行介绍。“所有样本的联合概率分布”是指数据集中所有样本出现的概率分布。在机器学习中，我们通常使用这个概念来表示一个模型在给定数据集的条件下，对所有样本的预测概率分布。
基于LLM的用户兴趣动态追踪与更新
AI天才研究院
10-20 759
《基于LLM的用户兴趣动态追踪与更新》 关键词 LLM（大型语言模型） 用户兴趣追踪 动态更新 语言模型基础 用户兴趣建模 项目实战 摘要
5分钟速通大语言模型（LLM）的发展与基础知识
易编橙 · 终身成长社群，相遇已是上上签！
05-05 2359
这一章节呢，我们主要学习的是AI大模型相关的一些背景和基础知识。大家可以看到这一章节的标题是 "多模型强应用：AI 2.0时代应用开发者的机会" ，标题名字倒是挺唬人的，相较于唬人的标题，大家肯定更关心的是接下来一段时间主要讲哪些内容呢？
LLM 系列（一）：发展历程篇
glmapper_2018
06-11 1309
大语言模型技术演进综述（2017-2025） 本文系统梳理了2017-2025年间大语言模型（LLM）的技术演进历程。第一阶段（2017-2019）围绕Transformer架构突破，GPT-1、BERT等模型奠定基础。第二阶段（2020-2022）以GPT-3为代表，通过参数规模化和In-Context Learning实现能力跃升，中国厂商开始密集布局。当前阶段（2023-2025）呈现三大特征：多模态融合、长上下文处理、Agent化应用，技术重点转向MoE架构和效率优化。模型应用从传统NLP任务扩展到
LLM大语言模型原理、发展历程、训练方法、应用场景和未来趋势
小相探索IT世界
04-30 7917
LLM，全称Large Language Model，即大型语言模型。LLM是一种强大的人工智能算法，它通过训练大量文本数据，学习语言的语法、语义和上下文信息，从而能够对自然语言文本进行建模。这种模型在自然语言处理（NLP）领域具有广泛的应用，包括文本生成、文本分类、机器翻译、情感分析等。本文将详细介绍LLM大语言模型的原理、发展历程、训练方法、应用场景和未来趋势。
通俗易懂了解大语言模型LLM发展历程
u011311291的博客
09-23 5078
2方面，1方面是面向生命科学，了解和学习人最自然的知识和本性；另一方面是面向行业，例如下面是天猫精灵团队为了让回复更加先得有温度，请了社会，心理专家面对敏感问题打的标签。
LLM大语言模型的发展历程和未来应用场景
m0_56255097的博客
09-26 943
在当今科技驱动的社会中，大语言模型(Large Language Model，LLM)已经深入到我们生活的诸多方面。作为一种生成式 Al(Generative Artifcial Intelligence，GAI)，大语言模型使用机器学习技术，具备了深度理解语言并能够自主生成语言内容的能力。本文将介绍大语言模型的基本原理和发展历程，还会探讨大语言模型的现状和未来。
大模型与LLM语言分析：如何利用LLM做多模态任务？
2301_81887304的博客
10-03 1790
大型语言模型LLM（Large Language Model）具有很强的通用知识理解以及较强的逻辑推理能力，但其只能处理文本数据。虽然已经发布的GPT4具备图片理解能力，但目前还未开放多模态输入接口并且不会透露任何模型上技术细节。因此，现阶段，如何利用LLM做一些多模态任务还是有一定的研究价值的。
1.简述语言建模LM、统计语言建模SLM、神经语言模型NLM、预训练语言模型PLM、大语言模型LLM
qq_38958704的博客
09-11 991
OpenAI已经发布了一篇名为“planning for AGI and beyond”的技术文章，讨论了实现AGI的短期和长期计划，而一篇更近期的论文认为GPT-4可能被视为AGI系统的早期版本。在IR领域，传统搜索引擎正受到通过AI聊天机器人（即ChatGPT）搜索新信息的挑战，而New Bing展示了一个初步的基于LLM增强搜索结果的研究尝试。由于计算资源的巨大需求，为了研究训练LLMs的各种策略的效果，进行重复、消融研究的成本非常高。因此，需要有效和高效的控制方法来消除使用LLMs的潜在风险。
TensorRT-LLM保姆级教程-快速入门
2401_86435672的博客
09-28 1531
TensorRT-LLM 为用户提供了易于使用的 Python API 来定义大语言模型 (LLM) 并构建 TensorRT 引擎，以便在 NVIDIA GPU 上高效地执行推理。TensorRT-LLM 还包含用于创建执行这些 TensorRT 引擎的 Python 和 C++ 运行时组件。此外，它还包括一个用于与 NVIDIA Triton 推理服务集成的后端；同时， 使用 TensorRT-LLM 构建的模型可以使用使用张量并行和流水线并行在单 GPU 或者多机多 GPU 上执行。
AI原生应用与LLM：构建智能应用新范式
最新发布
AI天才研究院
07-06 919
想象一下，2023年的某个早晨，你打开手机想订一张周末去上海的高铁票。传统方式是：打开购票App→点击"出发地"输入框→输入"北京"→点击"目的地"输入框→输入"上海"→选择日期→点击"查询"→在列表中找到合适车次→点击"预订"→选择乘客→提交订单…整个过程需要你完成10多个精确操作。而在AI原生应用中，你只需说一句：“帮我订一张这周六从北京到上海的高铁票，最好是上午出发的二等座”。应用会自动理解你的需求，确认日期和车次，甚至提醒你：“周六上午G101次列车余票充足，需要为你预订吗？
LLM-大语言模型发展历史介绍
weixin_59191169的博客
02-28 1027
虽然「语言模型」（LMs）和「大型语言模型」（LLMs）经常被互换使用，但它们在规模、架构和能力上存在差异。LLMs实际上是传统LMs的扩展版本，通常包含数十亿个模型参数。例如，GPT-3拥有1750亿个参数。“LLM”这一术语在2018–2019年随着BERT和GPT-1等模型的出现开始流行，但2020年GPT-3的发布真正展示了它们的潜力，在各种任务中表现出卓越性能，并确立了LLMs作为现代人工智能的基石地位。
LLM 发展简史：带你看懂 NLP 进化史，从 NLP 到 LLM 的非凡旅程（一）！（超细分析CNN、RNN、Transformer、LLM……）
jiangbenchu的博客
03-07 1180
卷积神经网络（Convolutional Neural Network, CNN）是一种深度学习模型，最初用于图像处理和计算机视觉任务。CNN通过卷积操作，可以有效地提取图像中的局部特征。循环神经网络（Recurrent Neural Network, RNN）是一种用于处理序列数据的神经网络，广泛应用于自然语言处理（NLP）和时间序列分析。RNN通过循环结构，能够记住前面输入的信息，适用于处理序列化的数据。
走进LLM世界之LLM历史与发展
全世界的博客
09-14 1354
大型语言模型（LLM）是指那些拥有数十亿甚至数千亿参数的深度学习模型，专门设计用于理解和生成人类语言。这些模型通过大量的文本数据进行训练，能够捕捉语言的复杂性和细微差别。LLM的核心原理在于利用统计方法和机器学习技术，从海量数据中学习语言的规律和模式。数据输入：模型接收大量的文本数据作为输入。学习过程：通过深度学习算法，模型学习文本中的语言模式和结构。生成输出：模型能够根据学习到的知识生成新的文本或回答问题。
LLM大模型的演进与发展
2401_82469710的博客
06-29 2016
本文主要是对LLM的想法进行一次全面的梳理和整合。我希望这次的技术沉淀不仅是我个人的梳理和沉淀，也能为刚踏入AI领域的新手以及已在AI行业工作的同行们提供一些参考和帮助。
AI 大模型 LLM 的基础概念、核心算法原理数学模型和发展历史及其应用领域
热门推荐
AI天才研究院
06-15 1万+
文本摘要是指从大量的文本中提取关键信息，并生成简洁、易于理解的摘要。LLM能够通过对文本进行编码和自动摘要，从而提高文本摘要的质量和效率。总之，LLM是自然语言处理领域中的一个重要组成部分，它通过对大量数据进行训练，实现了自然语言理解、文本分类、机器翻译、文本摘要等多种自然语言处理任务。在未来的发展中，我们可以预见LLM将会有着更广泛的应用场景，并为人工智能技术的发展带来更大的推动力。
【大模型应用开发教程】01_大模型简介
KEEP的博客
10-15 1754
大语言模型（英文：Large Language Model，缩写LLM），也称大型语言模型，是一种人工智能模型，旨在理解和生成人类语言。 通常，大语言模型 (LLM) 指包含数百亿（或更多）参数的语言模型，这些模型在大量的文本数据上进行训练，例如国外的有GPT-3 、GPT-4、PaLM 、Galactica 和 LLaMA 等，国内的有ChatGLM、文心一言、通义千问、讯飞星火等。
一文搞懂大模型！基础知识、 LLM 应用、 RAG 、 Agent 与未来发展
QcloudCommunity的博客
07-18 1695
????目录1 LLM 基础知识2LLM 应用3LLM 的未来发展方向LLM 探秘：想要深入了解人工智能界的“新宠”大型语言模型（LLM）吗？本文将带你走进 LLM 的世界，从入门知识到实际应用，全方位解读这个充满魔力的“大模型”。我们将一起揭开 LLM 的神秘面纱，领略其在各个领域的独特魅力。无论你是初学者还是有一定基础的 AI 爱好者，这篇文章都将为你提供宝贵的知识和启发，让你的 AI 之旅更加...
跟着DW学习大语言模型-了解一些历史渊源
白水空空
06-18 1815
开发大模型相关应用，其技术核心点虽然在大语言模型上，但一般通过调用 API 或开源模型来实现核心的理解与生成，通过 Prompt Enginnering 来实现大语言模型的控制，因此，虽然大模型是深度学习领域的集大成之作，大模型开发却更多是一个。作为重要的研究方向之一，语言模型得到了学术界的广泛研究，从早期的统计语言模型和神经语言模型开始，发展到基于Transformer的预训练语言模型。ChatGPT 从本质上来说是一个 LLM 应用，是基于基座模型开发出来的，与基座模型有本质的区别。
LLM模型学习
04-03
### 关于LLM模型的学习方法与资料 #### 一、多模态LLM的特点及其应用场景 多模态LLM是一种结合了文本与其他形式数据（如图像、视频、音频等）的大型语言模型。这种类型的模型通过接受多种类型的数据训练，能够找到不同模态间的关系并完成单一模态无法实现的任务，例如图片描述、音乐解读和视频理解等[^1]。 #### 二、大模型的基础理论与技术发展 对于希望深入研究LLM的人来说，了解其背景和发展历程至关重要。相关内容涵盖了人工智能简述、GPT系列模型的发展史以及模型工程的具体实践等内容[^2]。这不仅帮助初学者构建完整的知识体系，还提供了实际操作中的指导思路。 #### 三、预训练的重要性及其实现方式 在进入具体学习之前，掌握预训练的概念和技术细节是非常必要的。预训练是指利用大量未标注的数据来使模型获得语言统计规律及相关常识的过程。这一阶段产生的基座模型具有广泛的适用性和强大的泛化能力[^3]。 #### 四、扩展认知框架的新需求 随着技术进步，现代LLM开发者还需要熟悉诸如波束搜索解码(Beam Search Decoding)这样的概率算法, 知识蒸馏(Knowledge Distillation), 和基于人类反馈的强化学习(Reinforcement Learning from Human Feedback, RLHF)[^4]等方面的知识。这些都是超越传统编码技能之外的重要组成部分。 #### 推荐资源列表 为了更好地理解和运用上述概念，可以参考以下几类优质教程或文档： - **官方文档**: 各种主流框架如PyTorch,Hugging Face Transformers库都有详尽说明。 - **在线课程平台**: Coursera,Udacity提供由顶尖大学教授讲授的相关专项课程。 - **社区分享项目**: GitHub上有许多关于如何调整(LLaMA Factory)现有大规模模型以适应特定用途的例子。 ```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("gpt2") model = AutoModelForCausalLM.from_pretrained("gpt2") input_text = "Once upon a time" inputs = tokenizer(input_text, return_tensors="pt").to('cuda') outputs = model.generate(**inputs,max_new_tokens=50) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 以上代码片段展示了如何加载预先训练好的GPT-2模型并通过它生成一段连续的文字序列。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SmallerFL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值