token简介

🛠工具与编程 🤖人工智能
1

把单词/字转换成数字向量
用有效的token覆盖尽可能多的文本

算法

BPE
WordPiece

参考

3分钟搞清楚大模型的Token是什么_哔哩哔哩_bilibili