Google机器学习基础(语言模型)

机器学习基础(37)-语言模型解密：从词元预测到上下文理解

什么是语言模型？

语言模型就像是文字的"概率计算器"，它能估算词元序列出现的可能性。词元（Token）作为语言建模的最小单位，可以是：

• 完整单词（如"cat"）
• 子词部件（如"un-“、“watch”、”-ed"组合成"unwatched"）
• 单个字符（特别是标点符号）

🔍 现代语言模型的词元化艺术

图：单词"antidisestablishmentarianism"被分解为6个子词

典型子词组合：

📌 有趣事实：英语中1个词元≈4个字符≈0.75个单词，因此400词元≈300英文单词

语言模型如何工作？

🎯 预测填空游戏

考虑句子：

“当我听到屋顶的下雨声，我正在厨房___.”

语言模型给出的概率预测可能是：

💡 应用场景：这个概率表可用于文本生成、翻译或摘要——选择最高概率结果或随机采样

语言模型进化史

1. N元语法模型（石器时代）

核心思想：通过相邻词序列的频率预测下一个词

典型示例：

• 二元语法(Bigram)：“you are” → “very”
• 三元语法(Trigram)：“orange is” →
  • “ripe”（水果相关）
  • “cheerful”（颜色相关）

⚠️ 局限性：上下文窗口太小，就像只记得前两个词的健忘症患者

2. 循环神经网络（工业革命）

图：RNN像传送带一样逐步处理信息

突破：

• 可学习长期依赖关系
• 动态更新隐藏状态记忆上下文

😫 痛点：

• 仍然受制于"梯度消失"问题
• 实际有效上下文长度有限（约50-100词元）

3. 现代大语言模型（智能时代）

革命性创新：

• Transformer架构
• 自注意力机制
• 超长上下文窗口（数万词元）

🌟 典型案例：

# BERT处理多义词"orange"的上下文嵌入
"orange juice" → 水果向量
"orange shirt" → 颜色向量

为什么上下文如此重要？

人类理解语言的黄金法则：

没有上下文，"bank"可能是河岸或金融机构；"苹果"可能是水果或手机品牌

语言模型进阶之路：

N元语法：2-3个词的短时记忆

RNN：段落级的记忆能力

Transformer：整本书的全局理解

技术对比表

语言模型的超能力

🎭 多轮对话理解

🌍 跨语言翻译

📝 学术论文摘要

🎨 创意写作生成

未来展望：随着上下文窗口的扩展，语言模型正在向"世界模型"进化