GPT从零构建：预训练模型之从零起步

1. 引言

在上上一节带你构建MiniGPT中详细演示了文本生成的过程，整个过程如下图所示：

上图描绘了使用 GPT 模型进行文本生成的三步。

• 首先，分词器将输入文本转换为一系列的 token ID。
• 其次，模型接收这些 token ID，并生成相应的 logit，这些 logit 是向量，代表词汇表中每个令牌的概率分布。
• 最后，这些 logit 被转换回 token ID，分词器将其解码为人类可读的文本，从而完成从文本输入到文本输出的循环。

同时，文章中也提到，模型现在还无法生成连贯的文本，因为它还未经过训练。本节将来讨论如何对模型进行预训练，从而让模型能够生成连贯的文本。

2. 文本生成质量评估

为了定义何为连贯的文本，我们需要实现一种数值化的方法来评估生成的内容。这种方法将使我们能够在整个训练过程中监控并提升模型的性能。

接下来的部分将介绍我们如何为生成的文本计算损失指标（loss metric）。这个损失会作为训