知识图谱实体对齐的多模态图卷积网络

### 知识图谱实体对齐的多模态图卷积网络 #### 1. 引言 知识图谱（KGs）以结构化方式存储事实，在推荐系统、问答系统、信息提取和文本生成等知识驱动的下游任务中得到了广泛应用。近年来，越来越多的知识图谱基于不同数据源构建，这些知识对下游任务可能具有互补性。为了整合这些互补知识，实体对齐（EA），即发现不同知识图谱中代表同一现实世界对象的实体，受到了越来越多的关注。 过去十年中，基于嵌入的方法被广泛用于跨知识图谱的实体对齐，这些方法主要关注利用语义或概念来促进知识分析。为了提高实体对齐性能，一些研究利用实体属性作为辅助数据来增强实体表示。为了整合更多辅助数据，如图像，多模态知识图谱（MMKGs）被提出以进一步丰富实体信息。然而，现有的多模态知识利用技术大多分别预训练单模态特征并启发式地合并这些特征，未能充分考虑不同模态之间的相互作用。 #### 2. 相关工作 ##### 2.1 实体对齐 实体对齐方法主要分为基于翻译和基于图神经网络（GNNs）的方法： - **基于翻译的方法**：主要关注语义或概念方面以增强知识分析，如 TransE 将关系解释为对实体低维嵌入的翻译操作。虽然这些方法做出了重要贡献，但在处理复杂关系图时难以取得满意结果。 | 方法 | 特点 | | ---- | ---- | | TransE | 将关系解释为对实体低维嵌入的翻译操作 | | MTransE | 学习转换以将嵌入向量映射到相应向量 | | IPTransE | 使用迭代和参数共享策略 | | BootEA | 利用迭代策略标记可能的对齐并通过对齐编辑方法纠正错误 | | SEA | 在对抗训练中利用对齐实体对的差异程度意识并纳入未对齐实体以提高性能 | | AttrE | 利用额外属性生成属性字符嵌入 | | IMUSE | 采用双变量回归更好地合并关系和属性的对齐结果 | - **基于 GNNs 的方法**：递归捕获相邻实体的特征表示，能够学习知识图谱的结构化嵌入，如 GCN - Align 利用图卷积网络编码实体的结构化信息。但这些方法无法处理实体对齐任务中来自真实场景的多模态知识。 | 方法 | 特点 | | ---- | ---- | | GCN - Align | 利用图卷积网络编码实体的结构化信息并结合关系和属性嵌入进行实体对齐 | | HMAN | 将多方面特征融入实体嵌入并利用高速公路网络提高收敛速度 | | AliNet | 通过门控机制控制多跳内直接和远距离邻域信息的聚合 | | MCEA | 利用多尺度图卷积网络结构使长尾实体的对应节点积累更丰富的信息用于实体对齐 | ##### 2.2 多模态知识图谱 近年来，出现了一些旨在有效利用多模态表示和融合表示的实体对齐方法： | 方法 | 特点 | 不足 | | ---- | ---- | ---- | | PoE | 通过将实体之间的对齐链接视为 SameAs 关系进行链接预测 | 大多无法从不同的多模态嵌入中识别有价值的信息以建模联合表示 | | MMEA | 将多模态知识嵌入从单独空间融合到公共空间 | 大多无法从不同的多模态嵌入中识别有价值的信息以建模联合表示 | | HMEA | 使用双曲图卷积网络学习实体的结构化表示和视觉表示 | 大多无法从不同的多模态嵌入中识别有价值的信息以建模联合表示 | | MSNEA | 纳入视觉特征以指导关系和属性学习，并为重要属性分配权重进行实体对齐 | 大多无法从不同的多模态嵌入中识别有价值的信息以建模联合表示 | | EVA | 利用视觉知识创建初始种子字典并通过迭代学习扩展训练集 | 倾向于忽略模态间的影响 | | MultiJAF | 通过其融合网络中的注意力机制动态学习多种模态（如结构、属性和图像）的重要性 | 倾向于忽略模态间的影响 | | MCLEA | 基于 EVA，利用联合嵌入和单模态嵌入之间的输出分布预测对齐实体 | 未能充分考虑图结构邻域带来的影响 | #### 3. 方法 ##### 3.1 定义和模型概述 - **多模态知识图谱**：可以形式化为 $G = (E, R, A, P, T)$，其中 $E$、$R$、$A$、$P$ 分别表示实