Re45：读论文 GPT-1 Improving Language Understanding by Generative Pre-Training

原创 已于 2024-03-15 10:19:29 修改 · 1.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#gpt #transformers #NLP #自然语言处理 #OpenAI #LLM #大规模预训练语言模型

于 2023-09-04 19:39:15 首次发布
这篇文章介绍了2018年OpenAI的GPT-1研究，通过无监督预训练语言模型解决有监督数据稀缺的问题，探讨了Transformer的优势以及在NLI、QA、语义相似度和文本分类任务中的实验结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类

论文全名：Improving Language Understanding by Generative Pre-Training
论文下载地址：https://www.mikecaptain.com/resources/pdf/GPT-1.pdf

官方博文：Improving language understanding with unsupervised learning

本文是2018年OpenAI的工作，是初代GPT的原始论文。

先用无监督数据预训练语言模型（Transformer decoder），再在有监督数据上微调（加一层prediction head，同时优化语言模型和有监督任务的损失函数）
在这里插入图片描述

文章目录

1. 简介

NLU任务包括textual entailment, question answering, semantic similarity assessment, and document classification等子任务，本文测试了NLI、QA、语义相似度和文本分类4个任务。
有监督数据稀少，本文的解决方案是在语言模型上用海量无标签数据上进行generative pre-training，然后再在特定子任务上discriminative fine-tuning。
（算半监督学习）

普遍的使用无监督方法来学习语言学知识的方法，是构建预训练词嵌入来提升NLP任务的效果，这种做法有两个问题：1. 在学习文本表征中使用什么优化目标对迁移最有效，不知道。至今没有绝对优秀的方法。2. 如何利用文本表征最有效，不知道。

2. GPT-1

1. 无监督预训练语言模型

标准语言模型目标，最大化文本的似然：
在这里插入图片描述

（ k k k是上下文窗口尺寸，条件概率 P P P，神经网络的参数 Θ \Theta Θ）

本文用多层Transofmer decoder1（多头自注意力机制+position-wise前馈神经网络生成target token上的输出分布）：
在这里插入图片描述
U U U是token， n n n是层数， W e W_e We​是token嵌入矩阵， W p W_p Wp​是position embedding矩阵

Transformer相比LSTM的优势体验在对长文本的处理上

2. 微调

通过输入（每个任务被转变成不同形式的输入，见figure 1）得到表征，喂进线性输出层来预测 y y y：
在这里插入图片描述

新的优化目标：
在这里插入图片描述

事实上是将两个优化目标加起来：
在这里插入图片描述

3. 实验

1. 数据集

  1. 上游预训练数据：BooksCorpus和1B Word Benchmark
  2. 下游微调数据
    在这里插入图片描述

2. 下游任务指标

  1. NLI任务的实验结果在这里插入图片描述
  2. QA和常识推理的实验结果在这里插入图片描述
  3. 语义相似度和文本分类的实验结果在这里插入图片描述

3. 模型分析

  1. 层数对微调结果的影响（答案是越多越好）和预训练更新次数对zero-shot表现的影响在这里插入图片描述
    （数值是经规范化后得到的）
  2. ablation study
    在这里插入图片描述

  1. Generating Wikipedia by Summarizing Long Sequences ↩︎

【论文笔记】GPT-1：Improving Language Understanding by Generative Pre-Training
changreal的博客
11-10 2046
Abstract 核心思想： generative pre-training + discriminative fine-tuning 1 Introduction 为了获取更多annotation，利用linguistic info从unlabeled data中学习，这很有价值，减轻了对NLP中监督学习的依赖，毕竟许多domains缺乏annotated resources，并且用无监督学习学...
论文阅读《Improving Language Understanding by Generative Pre-Training》
Diobld的博客
03-05 1784
论文地址：《Improving Language Understanding by Generative Pre-Training》 论文介绍 本论文探索一种基于半监督解决语言理解任务方法，使用无监督预训练和监督微调。目标是从大量未标注语料库学习一种普遍的表征，不要求目标任务与未标注语料库在相同领域。训练分为两个阶段：首先，在未标注数据上使用语言建模来学习神经网络模型的初始化参数。随后，使用目标任务来进行监督学习。该模型体系结构基于Transformer，在四种类型语言理解任务上——自然语言推理、问题回答、
#Paper Reading# Improving Language Understanding by Generative Pre-Training
John159151的专栏
02-16 651
论文大体内容： 本文主要提出了GPT（Generative Pre-Training）模型，通过大模型pre-train + 子任务fine-tune的方式，在NLU系列任务中取得收益。 Motivation 相对Word2Vec通读全文的方式，本文的GPT模型另辟蹊径，采用通过上文预测下文的方式，更符合人的方式。 Contribution ①使用半监督学习的方法（大模型pre-train + 子任务fine-tune）进行NLU任务； ②在12个task中的9个，取得state-of-art的成绩；
【预训练语言模型】GPT: Improving Language Understanding by Generative Pre-Training
夏栀的博客
01-05 1856
Improving Language Undersstanding by Generative Pre-Training（GPT）   前记： 【预训练语言模型】系列文章是对近几年经典的预训练语言模型论文进行整理概述，帮助大家对预训练模型进行全局的理解。本系列文章将不断更新，敬请关注博主。本文将讲解现如今预训练模型——GPT，该模式是较早的使用Transformer模型进行预训练的方法，其特点是单向的。   简称 ：GPT ：G enerative P re-T raining 一、动机： （1）在NLP
GPT : Improving Language Understanding by Generative Pre-Training
哆啦咪~fo
08-16 7681
参考论文：Improving Language Understanding by Generative Pre-Training 论文链接：https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf 这篇论文是基于文...
GPT|《Improving language understanding by generative pre-training 》论文阅读笔记
Lys6142021的博客
06-16 979
GPT通过在各种未标注文本语料库上对语言模型进行，然后在每个特定任务上进行，可以在使用大量数据集进行训练下，迁移到大多数NLP任务之上。GPT是基于Transformer模型建立起来的，因为相比于LSTM其具有更好的并行存储计算能力，并能记忆更长的上下文相关信息，并采用纯解码器的结构构造。
论文笔记--Improving Language Understanding by Generative Pre-Training
weixin_38124427的博客
04-29 913
ChatGPT来源之GPT1论文阅读
【论文速读】GPT-1：Improving Language Understanding by Generative Pre-Training
weixin_43457608的博客
05-25 1148
自然语言理解包括广泛的不同的任务，如文本隐含、问题回答、语义相似性评估和文档分类。虽然大量的未标记文本语料库非常丰富，但用于学习这些特定任务的标记数据非常稀缺，这使得经过区别训练的模型要充分执行任务具有挑战性。我们证明，通过在不同的未标记文本语料库上对语言模型进行生成式预训练，然后对每个特定任务进行区分性微调，可以实现这些任务上的巨大收益。
GPT：Improving Language Understanding by Generative Pre-Training（2018-6-12）
weixin_49346755的博客
05-08 721
基本概念 Embedding嵌入层 GPT模型的嵌入层分成两层，一层是token的Embedding，另一层是position的Embedding。GPT的位置编码采用自学习位置编码，不同于Transformer的使用sin、cos函数来表示位置信息的固定位置编码，自学习位置编码将位置信息映射到一个向量，使输入序列位置中的每一个都对应一个位置编码。将两个输出的结果进行相加，得到的结果就是该层输出的结果。 实现代码： def get_position_ids(seq_len): position_i
Improving Language Understanding by Generative Pre-Training阅读笔记
Leokb24的博客
05-08 5581
文章目录概述Framwork1. 无监督预训练2.有监督的fine-tuning实验实验设置无监督预训练模型规格Fine-tuning细节实验结果 概述 要说最近NLP最显著的成果, 自然是几乎无人不知, 无人不晓的Bert. 但其实在Bert出现几个月之前, OpenAI在《Improving Language Understanding by Generative Pre-Training》就...
NLP：Improving Language Understanding by Generative Pre-Training
04-21
Improving Language Understanding by Generative Pre-Training 提出了半监督的方式来做语言理解，也就是无监督的pre-train，和有监督的fine-tune。该方法首先无监督的pre−trainpre-trainpre−train模型，学习到更加普遍、更适用的表征，然后模型以很小的微调迁移到众多特定的有监督学习任务上。在实验效果上，大幅超过了众多任务的state-of-art。不同于以无监督的方式学习到一些特征，然后利用这些特征喂给一些特定的有监督模型，这里是先无监督的pre−trainpre-trainpre−train模型，然后直接fine-tune预训练后的模型，迁移到一些特定的有监督任务上
文献阅读：Improving Language Understanding by Generative Pre-Training
codename_cys的博客
01-29 1279
文献阅读：Improving Language Understanding by Generative Pre-Training
GPT-1 论文阅读笔记
beingstrong的博客
04-02 881
GPT1论文阅读记录
3、GPT1论文笔记（预训练微调Generative Pre-Train Model ）
weixin_44986037的博客
12-25 569
GPT1
OpenAI GPT Improving Language Understanding by Generative Pre-Training
DarrenXf的专栏
03-12 2273
paper OpenAI GPT Improving Language Understanding by Generative Pre-Training https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf 个人...
【PTM】GPT：通过预训练改善语言模型
阿泽的学习笔记
05-20 1280
今天阅读的是 OpenAI 2018 年的论文《Improving Language Understanding by Generative Pre-Training》，截止目前共有 600 多引用。 在这篇论文中，作者提出了一种半监督学习方法——Generative Pre-Training（以下简称 GPT），GPT 采用无监督学习的 Pre-training 充分利用大量未标注的文本数据，利用监督学习的 Fine-tuning 来适配具体的具体的 NLP 任务（如机器翻译），并在 12 个 NLP 任
GPT1(Improving Language Understanding by Generative Pre-Training)论文阅读
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-18 613
在GPT(Generative pre-trained transformer)大火的今天回去重读了GPT在18年的开山之作【[Improving Language Understanding by Generative Pre-Training]】
论文精读--GPT1
m0_73202283的博客
02-23 2440
自然语言理解包括各种各样的任务，如文本蕴涵、问题回答、语义相似性评估和文档分类。尽管大量未标记的文本语料库丰富，但用于学习这些特定任务的标记数据很少，这使得判别训练模型难以充分执行。我们证明，通过在不同的未标记文本语料库上对语言模型进行生成式预训练，然后对每个特定任务进行判别性微调，可以实现这些任务的巨大收益。与以前的方法相反，我们在微调期间利用任务感知输入转换来实现有效的传输，同时需要对模型体系结构进行最小的更改。我们在自然语言理解的广泛基准上证明了我们的方法的有效性。
GPT系列之：GPT-1，GPT-2，GPT-3详细解读
vivid
09-08 2188
（2）并且模型被设计为在预训练期间吸收信息很大，然后在非常狭窄的任务分布上进行微调，导致模型泛化性能不好，虽然预训练-微调范式能够在某一任务达到非常好的效果，实际性能很差。（3）很多任务只需要简短的自然语言指令，不需要大型监督数据集，而且语言模型允许在很多任务之间切换，具有通用性。PPL：给测试集的句子赋予较高概率值的语言模型较好,当语言模型训练完之后，测试集中的句子都是正常的句子，那么训练好的模型就是在测试集上的概率越高越好，其计算公式如下，P（w1…系统的探索了不同的配置下上下文学习的效果。
Improving Language Understanding by Generative Pre-Training翻译
最新发布
12-30
### 关于《通过生成式预训练提升语言理解》论文的中文翻译 #### 1. 论文背景介绍 本研究旨在探索如何利用大量的未标注数据来改进自然语言处理系统的性能。具体来说，这项工作展示了通过对大规模语料库进行无监督学习，可以显著提高多种下游NLP任务的表现。这种方法被称为“生成式预训练”，它允许模型在接触特定任务之前先获得广泛的语言知识[^1]。 #### 2. GPT 的定义及其工作机制 GPT 是指 "Generative Pre-trained Transformer"[^2]，这是一种基于Transformer架构设计的语言模型。该模型能够根据给定的历史文本片段预测后续可能出现的内容，进而实现新文本的创建。这种能力源于其强大的统计特性，使得GPT可以从已有的输入模式中推断出合理的延续方式[^2]。 #### 3. 预训练的具体方法 为了使模型更好地捕捉到语言中的长期依赖关系，在最初的实验设置里选择了类似于成语接龙的任务作为主要的预训练目标之一。此过程中，系统会尝试依据前k个词语推测第k+1个词的身份；这里的k代表了一个固定的上下文长度窗口大小。通过最小化预测错误率的方式调整网络权重，以此完成整个训练流程[^3]。 #### 4. 模型结构细节 文中描述了一种由十二层解码器组成的独占版Transformers架构，每层包含了768维的状态向量以及十二组注意力机制单元。值得注意的是，这里采用了掩蔽技术以防止未来信息泄露至当前时间步长内的计算当中，确保了因果一致性[^4]。 ```python class DecoderOnlyTransformer(nn.Module): def __init__(self, vocab_size=50257, n_embd=768, n_head=12, n_layer=12): super().__init__() self.transformer = nn.TransformerDecoder( decoder_layer=nn.TransformerDecoderLayer(d_model=n_embd, nhead=n_head), num_layers=n_layer, norm=None ) def forward(self, src, tgt, mask=None): output = self.transformer(tgt=tgt, memory=src, tgt_mask=mask) return output ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值