Tag: tokenization-bpe-wordpiece-unigram

从字符开始，反复合并最高频的相邻符号对，直到达到目标词表；兼顾高频词整体化与未登录词可分解。

BPE 按频次合并；WordPiece 按’似然增益’合并（BERT）；Unigram 从大词表出发按概率剪枝（T5/SentencePiece）。

词表大 → 序列短（推理省）但 embedding/softmax 参数多；词表小 → 参数少但序列长；经验值 32k~128k。

PPL 是’每 token 的困惑度’，与分词粒度强相关；不同 tokenizer 的 PPL 不可直接比较，需按’每字节’归一化。

非拉丁语言 fertility 高（中文常 1~2 字/token）、代码缩进与符号被切碎、数字切分不规则损害算术。

为新语言/领域追加 token 并初始化其 embedding，再继续训练；注意初始化方式、学习率与对原能力的保护。