[BPE]论文实现：Neural Machine Translation of Rare Words with Subword Units

最新推荐文章于 2025-05-03 18:18:33 发布

原创最新推荐文章于 2025-05-03 18:18:33 发布 · 1.7k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#机器翻译 #自然语言处理

机器学习专栏收录该内容

39 篇文章

订阅专栏

文章探讨了神经机器翻译(NMT)中处理罕见词的方法，特别是通过字节对编码(BPE)和使用子词单位(subwordunits)。BPE通过迭代合并最频繁的字符对改善词汇表效率，而子词方法增强翻译性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

论文：Neural Machine Translation of Rare Words with Subword Units
作者：Rico Sennrich, Barry Haddow, Alexandra Birch
时间：2016

一、完整代码

这里我们使用python仅对BPE做一个简单的实现

import re, collections  
  
  
def get_stats(vocab):  
    pairs = collections.defaultdict(int)  
    for word, freq in vocab.items():  
        symbols = word.split()  
        for i in range(len(symbols) - 1):  
            pairs[symbols[i], symbols[i + 1]] += freq  
    return pairs  
  
  
def merge_vocab(pair, v_in):  
    v_out = {}  
    bigram = re.escape(' '.join(pair))  
    p = re.compile(r'(?<!\S)' + bigram + r'(?!\S)')  
    for word in v_in:  
        w_out = p.sub(''.join(pair), word)  
        v_out[w_out] = v_in[word]  
    return v_out  
  
  
if __name__ == '__main__':  
    vocab = {'l o w </w>': 5, 'l o w e r </w>': 2, 'n e w e s t </w>': 6, 'w i d e s t </w>': 3}  
    num_merges = 10  
    for i in range(num_merges):  
        pairs = get_stats(vocab)  
        best = max(pairs, key=pairs.get)  
        vocab = merge_vocab(best, vocab)  
      
    print(vocab)

二、论文解读

word-level在NMT任务上的不足：

a back-off to a dictionary look-up：用字典中相似且存在于vocabulary的词计算；
copy：对于名字来说处理有效，但是词的形态可能会发生改变，而翻译又需要词型的信息；

这篇文章主要介绍了两个方法：

使用subwords而不是word，可以有效的提高NMT的能力；
byte pair encoding，利用压缩算法来构建词汇表；

2.1 模型架构

encoder：一个双向的GRU网络，隐藏层的结果合并作为最终的隐藏层；
decoder：RNN，利用前馈神经网络做对其模型输出结果；

2.2 BPE

字节对编码（BPE）（Gage，1994）是一种简单的数据压缩技术，它迭代地用一个未使用的字节替换序列中最频繁的字节对。我们将该算法用于分词。我们不合并频繁的字节对，而是合并字符或字符序列。

首先，我们用字符词汇表初始化字符词汇表，并将每个单词表示为一个字符序列，再加上一个特殊的词末字符“·”，这允许我们在翻译后恢复原始的序列。我们迭代地计算所有的字符对，并将每次出现的最频繁的字符对（“A”，“B”）替换为一个新的字符“AB”。每个合并操作都会产生一个新的字符，它表示一个字符n-gram。频繁的字符n-克（或整个单词）最终被合并成一个单一的字符，因此BPE不需要候选名单。最终的字符词汇表大小等于初始词汇表的大小，再加上合并操作的数量——后者是算法中唯一的超参数。

实现代码如下：

import re, collections  
  
  
def get_stats(vocab):  
    pairs = collections.defaultdict(int)  
    for word, freq in vocab.items():  
        symbols = word.split()  
        for i in range(len(symbols) - 1):  
            pairs[symbols[i], symbols[i + 1]] += freq  
    return pairs  
  
  
def merge_vocab(pair, v_in):  
    v_out = {}  
    bigram = re.escape(' '.join(pair))  
    p = re.compile(r'(?<!\S)' + bigram + r'(?!\S)')  
    for word in v_in:  
        w_out = p.sub(''.join(pair), word)  
        v_out[w_out] = v_in[word]  
    return v_out  
  
  
if __name__ == '__main__':  
    vocab = {'l o w </w>': 5, 'l o w e r </w>': 2, 'n e w e s t </w>': 6, 'w i d e s t </w>': 3}  
    num_merges = 10  
    for i in range(num_merges):  
        pairs = get_stats(vocab)  
        best = max(pairs, key=pairs.get)  
        vocab = merge_vocab(best, vocab)  
      
    print(vocab)