语言模型的节俭思考：让每个 Token 都物有所值

🌟 引子：从“想得多”到“想得精”

想象一下，你在超市购物，推着购物车，逐一挑选商品。你既想买到所有需要的东西，又不希望结账时发现超出了预算。现在，把这个场景换到人工智能领域：大型语言模型（LLMs）在解答问题时，就像是在“购物”——它们需要用“Token”（字词单位）来“购买”推理的每一步。问题是，如果它们“买”得太多，不仅浪费资源，还可能拖慢整个过程。

这正是本文的主角——Token-Budget-Aware LLM Reasoning（令牌预算感知的语言模型推理）——所要解决的问题。研究者们提出了一种全新的方法，让语言模型在解题时既高效又准确，像一个精打细算的购物达人。

🧠 推理的艺术：从“链式思考”到“精简思考”

在大型语言模型的世界里，“推理”是它们的核心能力之一。无论是解数学题、回答复杂问题，还是生成逻辑严密的文本，推理能力都至关重要。近年来，**链式思考（Chain-of-Thought，CoT）**成为提升语言模型推理能力的明星方法。

简单来说，链式思考就是让模型“逐步思考”，将复杂问题拆解成多个中间步骤。比如，问一个模型：“佩顿一周的活动总共需要多少小时？”如果直接回答，模型可能会出错。但通过链式思考，模型会先逐步计算每一天的活动时间，再将结果相加，得出正确答案。

然而，链式思考的一个问题是：它太“话痨”了！
模型在逐步推理时，会生成大量中间步骤的描述，这些描述虽然有助于提高准确性，但也导致了大量的 Token 开销。Toke