知识表示学习与知识引导的自然语言处理

# 知识表示学习与知识引导的自然语言处理 ## 1. 知识表示学习概述 知识表示学习是将知识应用于自然语言处理（NLP）任务的基石。只有具备良好的知识表示，才能以高质量的方式将知识融入NLP任务中。目前，获取分布式知识表示主要有以下五个方向： 1. **线性方法**：将关系表示为实体之间的线性变换。 2. **翻译方法**：将关系表示为实体之间的加法平移。 3. **神经方法**：使用神经网络对实体和关系之间的交互进行参数化。 4. **流形方法**：在比基本欧几里得几何更灵活、更强大的几何空间中学习表示。 5. **上下文方法**：在复杂的上下文中学习表示。 从简单的方法（如SE和TransE）到更复杂的方法（如使用神经网络的ConvE、使用双曲几何的HyboNet以及使用文本信息的DKRL），这些方法都能提供有效的知识表示，为进一步的知识引导NLP和知识获取奠定了坚实的基础。不过，更复杂的方法并不一定能在NLP任务中带来更好的应用效果，研究人员需要根据具体任务的特点以及计算效率和表示质量之间的平衡来选择合适的知识表示学习方法。 ## 2. 知识引导的NLP框架 一个有效的NLP代理需要准确、深入地理解用户需求，并适当地、灵活地给出响应和解决方案，而这离不开一定形式的知识支持。近年来，知识引导的NLP得到了广泛的探索。利用知识进行NLP任务的简要流程如下： ```mermaid graph LR A[异构信息] --> B[知识获取] B --> C[知识系统（如KGs）] C --> D[知识表示学习] D --> E[知识表示] E --> F[知识应用] F --> G[信息检索] F --> H[问答系统] F --> I[对话系统] ``` NLP模型（更广泛地说，机器学习模型）的性能取决于四个关键因素：输入数据、模型架构、学习目标和假设空间。整体目标是最小化结构风险，公式如下： \[ \min_{f \in F} \frac{1}{N} \sum_{i = 1}^{N} L(y_i, f(x_i)) + \lambda J(f) \] 其中，$x_i$ 是输入数据，$f$ 是模型函数，$L$ 是学习目标，$F$ 是假设空间，$J(f)$ 是正则化项。通过将知识应用于这四个因素，可以形成四个方向来进行知识引导的NLP： 1. **知识增强**：旨在用知识增强输入数据 $x_i$。 2. **知识重构**：旨在用知识重构模型函数 $f$。 3. **知识正则化**：旨在用知识正则化或修改学习目标 $L$。 4. **知识迁移**：旨在将预训练参数作为先验知识来约束假设空间 $F$。 ## 3. 知识增强 知识增强的目标是使用知识来增强模型的输入特征。使用知识 $k$ 增强输入后，原始风险函数变为： \[ \min_{f \in F} \frac{1}{N} \sum_{i = 1}^{N} L(y_i, f(x_i, k)) + \lambda J(f) \] 为了在输入层面实现这种知识增强，现有工作主要采用以下两种主流方法： ### 3.1 知识上下文增强 这种方法是直接将知识作为额外的上下文添加到输入中。以检索增强语言建模为例，如REALM和RAG，它们从额外的语料库中检索背景知识，然后用检索到的知识为语言建模提供更多信息。由于检索到的知识可以显著提高语言理解和生成的性能，这种知识增强方法在问答系统和对话系统中得到了广泛应用。 以RAG为例，近年来预训练模型（PTMs）在各种NLP任务中取得了最先进的结果，但在精确访问和操作知识方面仍面临挑战，难以处理各种知识密集型任务，特别是需要大量知识的文本生成任务。为了帮助PTMs在文本生成中利用更多知识，RAG提出使用检索到的外部知识作为额外的上下文来生成更高质量的文本。 给定输入序列 $x$ 以生成输出序列 $y$，典型的自回归生成方法的整体过程可以形式化为： \[ P(y|x) = \prod_{i = 1}^{N} P_{\theta}(y_i|x, y_{1:i - 1}) \] 其中，$\theta$ 是生成器的参数，$N$ 是 $y$ 的长度，$y_i$ 是 $y$ 的第 $i$ 个标记。为了使用更多知识来生成 $y$，RAG首先根据输入 $x$ 检索外部信息 $z$，然后基于 $x$ 和 $z$ 生成输出序列 $y$。为了确保检索到的内容能够覆盖生成 $y$ 所需的关键知识，检索器检索到的前 $K$ 个内容都用于帮助生成输出序列 $y$，因此整体生成过程为： \[ P_{RAG - Sequence}(y|x) \approx \sum_{z \in top - K[P_{\eta}(\cdot|x)]} P_{\eta}(z|x) P_{\theta}(y|x, z) = \sum_{z \in top - K[P_{\eta}(\cdot|x)]} P_{\eta}(z|x) \prod_{i = 1}^{N} P_{\theta}(y_i|x, z, y_{1:i - 1}) \] 其中，$\eta$ 是检索器的参数。 除了在序列级别应用知识增强外，还引入了标记级别的RAG以提供更细粒度的增强。具体来说，标记级别的RAG首先根据输入 $x$ 检索前 $K$ 个外部信息，这与RAG - Sequence相同。在生成文本时，标记级别的RAG会综合考虑所有检索到的信息来生成下一个输出标记的分布，而不是像序列级别的RAG那样分别基于检索到的内容生成序列，然后合并生成的序列。形式上，标记级别的RAG为： \[ P_{RAG - Token}(y|x) \approx \prod_{i = 1}^{N} \sum_{z \in top - K[P(\cdot|x)]} P_{\eta}(z|x) P_{\theta}(y_i|x, z, y_{1:i - 1}) \] ### 3.2 知识嵌入增强 这种方法是设计特殊的模块来融合原始输入特征和知识嵌入，然后将融合后的特征作为输入来解决NLP任务。由于这种方法可以充分利用来自多个来源的异构知识，许多工作采用这种方法来集成非结构化文本和知识图谱（KGs）中的结构化符号知识，从而实现知识引导的信息检索和知识引导的PTMs。 以信息检索为例，信息检索的重点是获取查询和文档的信息表示，然后设计有效的度量来计算查询和文档之间的相似度。大规模KGs的出现推动了面向实体的信息检索的发展，旨在利用KGs来改进检索过程。 Word - entity duet是一种典型的面向实体的信息检索方法。给定一个查询 $q$ 和一个文档 $d$，Word - e