BLEU Score详解和代码实现

BLEU （Bilingual Evaluation Understudy）Socre最初是用于评估机器翻译质量的指标，通过比较机器翻译结果与参考翻译的相似度来计算。其核心思想是基于 n-gram 的精确匹配，并结合长度惩罚。

n-gram 精确度

定义

• 计算机器翻译输出（候选翻译）中与参考翻译匹配的 n-gram 的比例。对于不同阶数的 n-gram（通常取 1-gram 到 4-gram），计算如下：
  • 统计候选翻译中每个 n-gram 出现的次数。
  • 对于每个 n-gram，检查参考翻译中该 n-gram 的最大出现次数（以防止过度匹配）。
  • 计算匹配的 n-gram 数量，除以候选翻译中总的 n-gram 数量，得到该阶 n-gram 的精确度 Pn P_n Pn。
  • 公式：
    

计算例子

• 候选翻译：“The cat is on the mat”
• 参考翻译：“The cat sits on the mat”

1-gram精度计算

那么，1-gram的精度计算（1-gram 就是单个词），候选翻译的1-