# 标记器，回顾！ [[标记器，回顾！]]

<CourseFloatingBanner
    chapter={6}
    classNames="absolute z-10 right-0 top-0"
/>

完成这一章，辛苦了！

在深入研究标记器之后，您应该：

- 能够使用旧的标记器作为模板来训练新的标记器
- 了解如何使用偏移量将标记的位置映射到其原始文本范围
- 了解 BPE、WordPiece 和 Unigram 之间的区别
- 能够混合和匹配 🤗 Tokenizers 库提供的块来构建您自己的标记器
- 能够在 🤗 Transformers 库中使用该标记器