深入解析：WUP、LIN、RES 三大语义相似度算法

WUP、LIN、RES 介绍及 Python 实现

在自然语言处理（NLP）以及信息检索、文本挖掘等领域，基于 WordNet 的词语语义相似度计算是关键的一环。通过度量两个单词在语义层次结构中的相似程度，我们可以用于词义消歧、文本分类、自动摘要、推荐系统等诸多任务。

本文将详细介绍三种经典的基于 WordNet 的相似度算法：

1. WUP（Wu & Palmer）
2. RES（Resnik）
3. LIN（Lin）

除了它们各自的定义、公式、核心思想外，还会给出在 Python 中（主要基于 NLTK）的示例代码。为了确保“内容扩充至三倍以上”，本文在原有基础上增加了更多的背景知识、应用场景、示例以及常见问题分析。

一、WordNet 与语义相似度概述

1. WordNet 简介

WordNet 是普林斯顿大学开发的大型英语词库，它将英文单词按照“同义词集 (Synset)”组织起来，每个同义词集对应某一语义概念。例如：

• dog.n.01 表示名词“狗”的一个主要含义；
• bank.n.01 表示金融机构“银行”的含义；
• bank.n.02 可能表示“河岸”的含义。

除此之外，WordNet 还在这些同义词集之间建立了“上下位”关系，形成若干棵语义层次树。比如：

• animal.n.01（动物）是 dog.n.01（狗）的上位概念；
• mammal.n.01（哺乳动物）则处在“动物”和“狗”之间，更加具体一些。

这种严谨的层次结构与丰富的同义词集，为衡量两个词的语义相关性提供了基础。

2. 语义相似度的意义

衡量两个词的语义相似度在 NLP 和信息检索中是非常常见的基础操作，例如：

• 文本分类与聚类：基于词的相似度来聚类或分类文档；
• 推荐系统：度量商品标签或用户标签之间的相似度用于推荐；
• 信息检索：根据与查询词相似的关键词进行搜索扩展；
• 问答系统：测量用户问题与知识库中问题的语义相似程度。

二、WUP（Wu & Palmer）相似度

1. 算法背景与动机

Wu & Palmer（1994） 提出的相似度度量方法主要基于以下几点：

1. 通过 最小公共祖先 (Lowest Common Subsumer, LCS) 来衡量两个概念之间的共享层次位置；
2. 考虑概念在 WordNet 层次结构中的深度（越靠近根节点越抽象，越靠近叶节点越具体）。

2. 数学公式

设：

• $\text{depth}(C)$ 表示概念 $C$ 在层次树中的深度（通常根节点深度记为 0）；
• $C_1$ 和 $C_2$ 是需要比较相似度的两个概念；
• $C_{LCS}$ 是它们的最小公共祖先。

WUP 相似度定义如下：

sim w u p ( C 1 , C 2 ) = 2 × depth ( C L C S ) depth ( C 1 ) + depth ( C 2 ) \text{sim}_{wup}(C_1, C_2) = \frac{2 \times \text{depth}(C_{LCS})}{\text{depth}(C_1) + \text{depth}(C_2)} simwup​(C1​,C