Skip to content

Latest commit

 

History

History
170 lines (130 loc) · 5.45 KB

1.4_BPE_algo.md

File metadata and controls

170 lines (130 loc) · 5.45 KB

BPE（Byte Pair Encoding） 是一种基于压缩的子词分词算法，最初用于数据压缩，后来被引入到自然语言处理（NLP）领域作为一种高效的文本分词方法。它可以将文本分解为子词单元（subwords），从而在平衡词汇表大小和语言表示能力之间找到一种有效的方式。

1. BPE 的背景与动机

1.1 分词的挑战

在 NLP 中，文本需要被分解为模型能够理解的基本单位，常见的基本单位包括：

  • 字符：过于细粒度，难以捕捉完整语义。
  • 单词：词汇量巨大，处理稀有词（如专有名词、拼写错误）时效果较差。

1.2 BPE 的解决方案

BPE 提供了一种折中的方法：

  • 将单词进一步分解为更细粒度的 子词单元（subwords）。
  • 优点：
    • 提高模型对未知词或稀有词的处理能力。
    • 减少词汇表的大小，降低内存和计算成本。
    • 保留常见词的完整性，同时为稀有词提供灵活的组合方式。

2. BPE 的核心思想

BPE 的目标是通过迭代地合并高频字符对（或子词对）来构建一个子词单元的词汇表，这些子词单元可以高效地表示输入文本。

步骤概览：

  1. 初始化：将每个单词分解为字符序列（初始状态）。
  2. 统计频率：计算所有字符对（或子词对）在词语中的出现频率。
  3. 合并高频对：将出现频率最高的字符对合并成一个新的子词单元。
  4. 更新词表：将新的子词单元替换原始字符对，并重复步骤 2 和 3，直到达到预定的词汇表大小。

输出：

  • 一个包含子词单元的词汇表。
  • 分解后的输入文本。

3. BPE 算法的详细过程

举例说明 BPE 的工作原理：

3.1 输入数据

假设我们有以下简单的单词列表：

low, lower, newest, widest

3.2 初始化

将每个单词分解为字符序列，并在每个字符后添加特殊符号 </w>，表示单词结束：

l o w </w>
l o w e r </w>
n e w e s t </w>
w i d e s t </w>

3.3 统计频率

统计所有字符对的频率：

l o: 2
o w: 2
w </w>: 2
l o w: 1
o w e: 1
...

3.4 合并高频对

找到出现频率最高的字符对，例如 l o，将其合并为一个新的子词 lo：

lo w </w>
lo w e r </w>
n e w e s t </w>
w i d e s t </w>

3.5 更新并重复

再次统计频率并合并最高频字符对，例如 lo w 合并为 low：

low </w>
low e r </w>
n e w e s t </w>
w i d e s t </w>

继续迭代，直到达到预定的词汇表大小。例如，最终可能得到以下子词表：

{low, er, new, est, wid, t}

4. BPE 的优点

  1. 处理未登录词（OOV）：

    • BPE 能将稀有词分解为更小的子词单元，从而有效处理未登录词。
    • 例如，unhappiness 可以分解为 un, happi, ness，即使整个单词未出现在训练数据中。

  2. 词汇表大小可控：

    • 通过指定子词单元的数量，可以控制词汇表大小，降低内存和计算成本。

  3. 语言无关性：

    • BPE 不依赖具体语言规则，适用于多种语言。

  4. 高效分词：

    • BPE 分词具有较高的效率，且兼顾了常见词的完整性和稀有词的灵活性。

5. BPE 的局限性

  1. 缺乏语义信息：

    • BPE 是基于统计频率进行分词，无法捕捉子词的语义信息。

  2. 对上下文不敏感：

    • BPE 的分词结果仅依赖于训练数据，无法动态调整分词结果。

  3. 次优的子词分解：

    • 在稀有情况下，BPE 的分解可能不符合语言直觉。

6. BPE 在 NLP 中的应用

BPE 广泛应用于现代 NLP 模型中，尤其是序列到序列任务（如机器翻译、文本生成）：

  • 神经机器翻译（NMT）：
    • BPE 是 Transformer 和 RNN 系列模型中常用的分词方法之一。
  • 预训练语言模型：
    • OpenAI 的 GPT 系列模型和 BERT 等模型都使用类似 BPE 的分词方法。
  • 多语言模型：
    • BPE 在处理多语言数据时表现出色，因为它可以共享子词单元，降低多语言词汇表的大小。

7. 实现 BPE 的工具

7.1 SentencePiece

Google 开发的 SentencePiece 是一种实现 BPE 和其他子词分词方法的工具，支持多语言分词。

  • 安装： 
    pip install sentencepiece
  • 使用： 
    import sentencepiece as spm
spm.SentencePieceTrainer.train(input='data.txt', model_prefix='bpe', vocab_size=8000, model_type='bpe')

7.2 Subword-nmt

subword-nmt 是一个开源的 BPE 实现工具，广泛用于机器翻译任务。

  • 安装： 
    pip install subword-nmt
  • 使用： 
    subword-nmt learn-bpe -s 10000 < input.txt > codes.bpe
subword-nmt apply-bpe -c codes.bpe < input.txt > tokenized.txt

8. 总结

  • BPE 是一种高效的子词分词方法，通过统计字符对的频率，逐步合并高频字符对，从而生成子词单元。
  • 优点：解决了词汇表大小和 OOV 问题，同时适用于多语言场景。
  • 局限性：基于统计方法，缺乏语义信息和上下文感知能力。
  • 应用场景：神经机器翻译、语言模型预训练、多语言处理等。

BPE 的出现大大提升了 NLP 模型的性能，同时降低了复杂度，是现代 NLP 系统中不可或缺的一部分。 😊