Meta 大型概念模型 (LCM): LLM终结?

自 2022 年底 C
hatGPT 诞生以来，我们一直生活在生成式人工智能时代，“LLM”一词已成为每个人生活的核心。

但最近，你一定听说过一些“技术大佬”提到 LLM 的增长正在趋于平稳。

Meta 最近推出了 LCM（大型概念模型），这看起来是下一个重大步骤，是 LLM 的重大升级。

什么是大型概念模型？

Meta 的**大型概念模型 (LCM)代表了一种新颖的语言建模方法，与传统的****大型语言模型 (LLM)**相比，它在更高的抽象层次上运行。

LCM 不是在标记级别处理文本，而是处理概念，概念是与语言和模态无关的高级想法或动作的表示。

在 Meta 的 LCM 框架中，概念被定义为抽象的原子想法。在实践中，概念通常对应于文本中的句子或等效的****语音话语。这使得模型能够在更高的语义层面上进行推理，而不受特定语言或模态（例如文本、语音或图像）的影响。

这到底意味着什么？

让我们看一个例子

传统语言模型 (LLM)：逐词预测

想象一下，您正在写一个故事，并且正在使用像 ChatGPT 这样的传统语言模型。它的工作原理是根据您已经写过的单词来预测下一个单词（或“token”）。例如：

你写道：“猫坐在…”

该模型预测：“mat”。

这就像是一次填一个单词。这种方法效果很好，但它过于关注个别单词，而并不总是考虑大局或句子的整体含义。<