知识引导的生物医学自然语言处理：方法与应用

# 知识引导的生物医学自然语言处理：方法与应用 ## 1. 生物医学数据处理现状 生物医学待处理的数据形式多样，包括分子图像、医学磁共振图像等非文本数据，以及连续监测健康数据等文本数据。深度学习方法在处理这些数据方面已取得了令人满意的效果。为了更深入地理解和精准捕捉生物医学知识，对各类材料进行自适应和通用处理将逐渐成为生物医学自然语言处理（NLP）研究的趋势。 ## 2. 知识引导的生物医学NLP方法 ### 2.1 输入增强 为了用生物医学知识引导神经网络，可将知识作为系统的输入增强。知识来源多样，主要包括生物医学知识图谱（KG），还可能来自语言规则、实验结果等非结构化记录。输入增强的关键在于选择有用信息、进行编码并与处理输入融合。 - **编码知识图谱信息**：专业知识图谱的信息质量高，可用于指导下游任务。例如： - 借助知识图谱改进词嵌入，基于生物医学知识图谱的图表示学习方法（如基于GCN的方法）能为链接预测任务获得更好的初始化嵌入。 - 用知识增强输入，混合Transformer等模型可同时编码令牌序列和三元组序列，并将知识融入原始文本。 - 通过额外模块挂载知识，设计额外模块对知识进行编码，如基于图的网络对知识图谱子图进行编码以辅助生物医学事件提取。 - **编码其他信息**：除知识图谱信息外，句法信息等也有助于更好地分析句子和识别实体。对于非文本材料处理任务，实验验证的先验知识（如蛋白质和基因相互作用）也很重要，可与原始输入物质拼接以获得有效表示。 ### 2.2 架构重构 人类先验知识有时会反映在模型架构设计中，尤其是处理特定领域材料时。以Enformer和MSA Transformer为例： - **Enformer**：是针对DNA序列的Transformer框架的改进版本。它通过强调相对位置信息，精心选择相对位置编码基函数，并使用指数、伽马和中心掩码编码的拼接；应用卷积层捕获低级特征，扩大感受野，从而更好地捕捉超长基因序列中的低级语义信息，这对高级序列分析至关重要。 - **MSA Transformer**：受AlphaFold中MSA信息重要性的启发，用于处理多个蛋白质序列。与普通Transformer不同，它引入了与每个序列行注意力对应的列注意力，并通过跨不同蛋白质家族的掩码语言建模变体进行训练，实验表明其性能明显优于仅处理单个序列的方法。 ### 2.3 目标正则化 从额外知识中形式化新任务可以改变模型的优化目标，引导模型更好地完成目标任务。在生物医学领域，有许多现成任务可用于目标正则化，通常在下游适应期进行多任务训练，也有研究者在预训练期探