[GPT-2]论文解读：Language Models are Unsupervised Multitask Learners

已于 2024-03-06 21:56:49 修改
阅读量2.4k 收藏 25
点赞数 16
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： gpt 语言模型 人工智能
于 2024-02-17 15:52:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72947390/article/details/136138011

文章目录

论文：Language Models are Unsupervised Multitask Learners
作者：Alec Radford, Jeff Wu, Rewon Child, D. Luan, Dario Amodei, I. Sutskever
时间：2019

介绍

GPT-2 是一个有15亿参数的模型，GPT-2的想法是转向一个通用的系统，不需要进行数据集的标注就可以执行许多的任务；

因为数据集的创建是很难的，我们很难继续将数据集的创建和目标的设计扩大到可能需要用现有的技术推动我们前进的程度。这促使我们去探索执行多任务学习的额外设置。

当前性能最好的语言模型系统是通过预训练模型和微调完成的，预训练主要是自注意力模块去识别字符串的语意，而微调主要是通过语意去得出不同的结果；这样一来，我们在执行不同的任务时，只需要替换掉微调的那部分结构就可以；

而GPT-2证实了语言模型能够在不进行任何参数和结构修改的情况下，拥有执行下游任务的能力，这种能力获取的主要方式是强化语言模型的 zero-shot

zero-shot learning 零样本学习

零样本学习也叫ZSL，通俗来讲就是说在训练集中并没有出现的y能够在测试集中识别出来；当然，如果不做任何处理我们是无法识别的，我们需要没有出现的y的信息来帮助我们识别y；通过上面的图我们可以知道，horse和donkey可以得出horselike，tiger和hyena可以得出stripe，penguin和panda 可以得出 black and white，这里我们可以通过zebra的描述信息可以得出horselike，stripe，black and white 的动物是斑马来训练模型，这样我们可以在测试集的时候识别出斑马；

这里有两篇比较详细的介绍：

零次学习（Zero-Shot Learning）入门 (zhihu.com)
零次学习（Zero-Shot Learning） - 知乎 (zhihu.com)

方法

首先介绍一下语言模型：

p ( x ) = p ( s 1 , s 2 , … , s n ) = ∏ i = 1 n p ( s n ∣ s 1 , … , s n − 1 ) p(x)=p(s_1,s_2,\dots,s_n)=\prod_{i=1}^{n}p(s_n|s_1,\dots,s_{n-1}) p(x)=p(s1​,s2​,…,sn​)=i=1∏n​p(sn​∣s1​,…,sn−1​)
其中 x x x是句子， s 1 , s 2 , … , s n s_1,s_2,\dots,s_n s1​

最低0.47元/天 解锁文章

200万优质内容无限畅学
Language Models are unsupervised multitask learners
Young, Simple, Naive
10-10 887
预训练语言模型在 zero-shot 的情况下能够很好地处理多种下游任务，且无需任何参数或网络结构的调整
大模型论文：Language Models are Unsupervised Multitask Learners(GPT2)
apple_50860766的博客
04-11 2042
自然语言处理任务，例如问答、机器翻译、阅读理解和摘要，通常是通过对特定任务的数据集进行监督学习来实现的。我们展示了，语言模型在没有任何显式监督的情况下，仅通过训练一个名为 WebText 的包含数百万网页的新数据集，就开始学会这些任务。当模型以“文档 + 问题”的形式进行输入时，生成的回答在 CoQA 数据集上达到了 55 的 F1 分数 —— 这一成绩相当于或超过了四个基线系统中的三个的表现，而无需使用 127,000 多个训练样本。
【GPT】GPT-v2：Language Models are Unsupervised Multitask Learners
Hali_Botebie的博客
10-09 383
我们的模型被称为GPT-2（GPT的继任者），经过简单的训练，可以预测40GB互联网文本中的下一个单词。由于我们担心该技术的恶意应用程序，我们不会发布经过训练的模型。作为一项负责任披露的实验，我们发布了一个小得多的模型供研究人员进行实验，以及一篇技术论文。GPT-2是一个基于转换器的大型语言模型，具有15亿个参数，在数据集a[a]上训练我们创建了一个新的数据集，通过从互联网上抓取内容，强调内容的多样性。为了保持文档质量，我们只使用经过人工策划/过滤的页面。
大模型系列（四）--- GPT2: Language Models are Unsupervised Multitask Learners​
最新发布
china1000的专栏
05-07 1261
GPT-2 在最后一个自注意力层后增加层归一化（Layer Normalization, LN）主要与其架构调整和训练稳定性优化密切相关，具体原因如下：‌输出分布稳定性增强‌深层模型中，最后一层自注意力输出的激活值可能因参数累积出现分布偏移。额外添加的 LN 通过对输出的均值和方差进行归一化，使后续前馈层或生成阶段的输入分布更稳定，缓解梯度异常（如梯度爆炸），提升模型收敛效率24。‌生成阶段的动态控制‌语言模型的生成过程具有自回归特性，各时间步的输出需具备可控的数值范围。
GPT2.0语言模型 Language Models are Unsupervised Multitask Learners
u013602059的专栏
07-11 7638
论文链接：https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf Tensorflow代码链接：https://github.com/openai/gpt-2 Pytorch代码链接：https://github.com/huggingface/pytorch-pretrained-BERT 参考文档：https://mp.weixin.qq.com/s/c0LXAj5tN_59eJKc8yBTLQ 参考.
Language Models are Unsupervised Multitask Learners 笔记
jing_jing95的博客
03-03 1142
语言模型是无监督的多任务学习者 摘要 自然语言处理任务，如问题回答、机器翻译、阅读理解和总结，通常是通过任务特定数据集上的监督学习来完成的。我们证明，当语言模型在一个称为WebText的数百万网页的新数据集上训练时，它们可以在没有任何明确监督的情况下开始学习这些任务。当以文档和问题为条件时，语言模型生成的答案在CoQA数据集上达到55F1—在不使用127,000+训练示例的情况下匹配或超过4个...
文献阅读：Language Models are Unsupervised Multitask Learners
codename_cys的博客
01-29 935
文献阅读：Language Models are Unsupervised Multitask Learners
【论文笔记】Language Models are Unsupervised Multitask Learners
m0_48948682的博客
03-05 2528
GPT-2 论文笔记。
《Language Models are Unsupervised Multitask Learners》
08-22
论文原文
gpt2-language_models_are_unsupervised_multitask_learners.pdf
06-04
gpt2-language_models_are_unsupervised_multitask_learners.pdf 本文总结了一篇关于语言模型的研究论文，讨论了当前自然语言处理任务的挑战和解决方案。作者 Alec Radford 等人提出了一个基于 transformers 的语言...
人工智能论文GPT-2（3）：2019.2 Language Models are Unsupervised Multitask Learners；实验结果；
Ankie资深技术项目经理
04-17 825
1，2018.10 Google的BERT性能超过了GPT v1，OpenAI准备了4组GPT v2的配置与其对比： 最小的模型与原始GPT相当，110M 第二小的模型与BERT中最大的模型相当，345M。 最大的模型为GPT-2，它的参数数量比GPT多出一个数量级。1542M 测试结果表明：参数越大，性能越高。这也就是所谓的scaling law。军备竞赛一发不可收拾。 2，OpenAI目标清楚：想做通用人工智能。希望不要仅仅在那几个专业赛道卷。因此GPT v2模型训练好了之后，直接测试各种项目，结果
ChatGPT2论文解读《Language Models are Unsupervised Multitask Learners》（2019）
大菜鸟的博客
06-05 2809
ChatGPT-2论文解读
Python-LanguageModelsareUnsupervisedMultitaskLearners论文代码
08-10
"Language Models are Unsupervised Multitask Learners"论文代码
Language Models are Unsupervised Multitask Learners
靓仔沾点健忘症，写给时间下游的自己
08-29 1292
机器学习系统现在通过结合使用大型数据集、高容量模型和监督学习(Krizhevsky et al.， 2012) (Sutskever et al.， 2014) (Amodei et al.， 2016)，在训练任务上表现出色(预期)。然而，这些系统很脆弱，对数据分布(Recht等人，2018)和任务规范(Kirkpatrick等人，2017)的微小变化很敏感。目前的系统更倾向于由狭隘的专家组成，而不是有能力的通才。
论文分享 -- > NLP -- > Language Models are Unsupervised Multitask Learners
村头陶员外的博客
06-01 972
本次要总结和分享的论文是GPT2，参考的实现代码model。本论文方法是在openAI-GPT的基础上进行了一些微小的修改得到的，从模型的角度来讲，几乎没有修改，只是去掉了fine-tune过程，无论是在预训练和预测阶段都是完全的无监督，这点有点不可思议，但是的确做到了，而且效果还不错。网上对这篇论文的讲解非常多，这里本人就讲下自己浅薄的见解。 本篇论文的核心思想并不难，但是我个人感觉论文读起来比...
【NLP经典论文精读】Language Models are Unsupervised Multitask Learners
HERODING23的博客
07-29 2479
一篇对我特别有启发的文章，虽然GPT-2的性能不尽如人意，但是其背后的思想还是特别值得学习和借鉴，如果没有GPT-2的出现，可能当今的大模型时代就不会来临。典型的自然语言理解任务都需要在特定任务下进行监督学习，然而本文证明在百万级别WebText数据集下，模型可以在没有任何显式监督情况下学习任务。语言模型的规模对于zero-shot相当重要，增加它可以以对数线性的方式提高性能。此外，作者还发现能够从自然语言演示中学习任务。
GPT-2：Language Models are Unsupervised Multitask Learners——语言模型是无监督的多任务学习者
Together_CZ的博客
01-04 1128
GPT-2：Language Models are Unsupervised Multitask Learners——语言模型是无监督的多任务学习者
论文阅读《Language Models are Unsupervised Multitask Learners》
Diobld的博客
03-12 1484
论文地址：《Language Models are Unsupervised Multitask Learners》 代码地址：https://github.com/openai/gpt-2 文章目录论文介绍模型框架实验分析结论 论文介绍 本文将常识推理和情感分析两项任务联系起来，采取更一般的方法。证明了语言模型可以在zero-shot下无需任何参数或架构的修改执行下游任务。 模型框架 核心依旧是Language Modeling，形式化为 ，从中可以学习到 。单任务预测形式化为p(output|inpu
GPT-2：语言模型是无监督的多任务学习者
weixin_51697828的博客
12-19 1419
原文：RadfordA,WuJ,ChildR,etal.Languagemodelsareunsupervisedmultitasklearners[J].OpenAIblog,2019,1(8):9. 1.Abstract 自然语言处理任务，如问答、机器翻译、阅读理解和摘要，通常在任务特定的数据集上，通过监督学习来完成。我们证明，语言模型在没有任何显式监督的情况下，可以在一个包含数百万网页的数据集WebText上来学习这些任务。针对阅读理解任务，GPT-2在没...
gpt2论文精读
04-02
### GPT-2 论文解析 GPT-2 是 OpenAI 发布的一系列大型语言模型之一，其核心理念基于 Transformer 架构，并扩展了生成式预训练的思想。以下是关于 GPT-2 的详细解读： #### 1. **背景与动机** GPT-2 延续了 GPT-1 中提出的生成式预训练和判别性微调的理念[^3]。它旨在通过更大规模的数据集和更高的参数量来增强模型的语言理解和生成能力。相比于 GPT-1，GPT-2 使用了更多的训练数据（约 40GB 文本），从而显著提升了模型的表现。 #### 2. **核心技术特点** - **Transformer 架构**: GPT-2 完全采用了单向 Transformer 编码器结构，这意味着它的注意力机制仅关注输入序列的前缀部分，而不像 BERT 那样的双向模型能够同时看到前后上下文。 - **大规模预训练**: GPT-2 利用了大量的互联网文本进行无监督预训练，使其具备广泛的知识基础。这种预训练方式使得模型能够在多种下游任务中表现出色而无需额外标注数据。 - **自回归生成**: GPT-2 是一种自回归语言模型，逐词生成文本。这种方式允许模型在生成过程中逐步构建连贯性和逻辑性[^2]。 #### 3. **主要贡献** - 提出了一个强大的通用语言表示模型，适用于各种自然语言处理任务，包括但不限于翻译、摘要生成、问答等。 - 展示了大模型在少量样本甚至零样本条件下仍能完成复杂任务的可能性。 - 探讨了伦理问题和社会影响，由于其强大的生成能力和潜在滥用风险，在发布初期采取了分阶段公开策略。 #### 4. **局限性分析** 尽管取得了巨大进步，但 GPT-2 存在一定局限性： - 对于某些特定类型的推理任务（如 WIC 或 ANLI），因缺乏双向建模能力而导致效果不如其他专门设计的方法好。 - 在面对需要深入理解长文档后再作答的情况下也可能遇到挑战。 #### 示例代码展示 下面是一个简单的 Python 脚本来加载并测试 Hugging Face 版本下的 pre-trained GPT-2 模型: ```python from transformers import pipeline, set_seed set_seed(42) nlp = pipeline('text-generation', model='gpt2') result = nlp("Artificial intelligence is", max_length=50, do_sample=True) print(result[0]['generated_text']) ``` 此脚本利用 `transformers` 库中的 `pipeline` 功能快速搭建起了一个基于 GPT-2 的文本生成环境。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值