LW的技术小筑

GPT-2通过将参数数量提升一个数量级，采用字节对编码（BPE）技术进行文本编码，并在更广阔的数据集上进行预训练，同时在训练过程中将上下文长度增加了一倍。这些改进显著增强了GPT-2相对于其前身GPT-1的文本生成能力。以上便是本文的全部内容，若是觉得不错可以支持一下博主，你们的支持是博主更新的不竭动力。若是有任何问题也敬请批评指正。

现实世界中包含了大量的文本语料数据，然而，绝大多数语料都是无标签的。为了充分利用这些无标签语料库，GPT1.0提出直接利用这些未标记的语料来进行生成式预训练，然后对每个特定任务进行判别式微调（在标注数据上），从而显著提升在这些任务上的性能。：文本蕴含，即给定一个前提文本（premise），根据这个前提文本去推断假说文本（hypothesis）与前提文本之间的关系，关系包括蕴含和矛盾两种。蕴含关系指能从前提文本推断出假说文本，而矛盾关系则指前提文本与假锁文本相矛盾。

BERT（BEncoderRTransformer）是Google于2019年提出的预训练语言模型。与寻常的Transformer架构不同，该模型由双向Transformer编码器组成，双向编码使得BERT能够从左到右和从右到左编码上下文。BERT通过无标签语料数据，在精心设计的预训练任务**掩码语言模型（Masked LM）和下一句预测（Next Sentence Prediction, NSP）**的指导下进行预训练，所得到的模型具备出色的泛化能力。

如今大火的大模型背后许多都离不开Transformer，本文将带你深入了解Transformer的架构。