Harry的博客

最近的工作表明，通过对大量文本语料库进行预训练，然后对特定任务进行微调，许多 NLP 任务和基准测试取得了实质性进展。虽然在体系结构中通常与任务无关，但此方法仍然需要特定于任务的微调数据集，其中包含数千或数万个示例。相比之下，人类通常只能通过几个例子或简单的指令来执行一项新的语言任务——这是当前的 NLP 系统在很大程度上仍然难以做到的。在这里，我们展示了扩大语言模型极大地提高了与任务无关的、少样本(few-shot)的性能，有时甚至可以与先前最先进的微调方法竞争。

语言模型（language models）越大大并不意味着它能更好地理解用户的意图。例如，大型语言模型生成输出不真实、有毒或根本对用户没有帮助。换句话说，这些模型没有准确的理解用户想法。在此论文中，展示了一种有效的方法通过微调使语言模型与用户在各种任务上的意图保持一致与人类反馈。从一组的提示和提示开始通过 OpenAI API 提交，我们收集了已标记的范文数据集所需的模型行为，我们用它来使用有监督的方法来微调 GPT-3学习。

我们探索如何生成一个思维链——一系列中间推理步骤——如何显着提高大型语言模型执行复杂推理的能力。特别是，我们展示了这种推理能力如何通过一种称为思维链提示的简单方法自然地出现在足够大的语言模型中，其中提供了一些思维链演示作为提示中的示例。对三种大型语言模型的实验表明，思维链提示提高了一系列算术、常识和符号推理任务的性能。实证收益可能是惊人的。例如，仅使用八个思维链范例来提示 PaLM 540B 在数学单词问题的 GSM8K 基准测试中实现了最先进的准确性，甚至超过了带有验证器的微调 GPT-3。