token简介

🛠工具与编程

doggie 2025 年10 月 5 日 02:00 1

把单词/字转换成数字向量
用有效的token覆盖尽可能多的文本

算法

BPE
WordPiece

参考

3分钟搞清楚大模型的Token是什么_哔哩哔哩_bilibili

话题		回复	浏览量	活动
deepseek提出把文字压缩成图片token然后处理，可以节省算力 🛠工具与编程 deepseek	0	13	2025 年12 月 4 日
transformer详细解释 🛠工具与编程	0	22	2025 年10 月 4 日
预训练语言模型发展史 🛠工具与编程大模型 , 自然语言处理	1	29	2025 年10 月 8 日
【转载】语言模型简介 🛠工具与编程	0	40	2025 年3 月 9 日
bert-score测量速度的优化 🛠工具与编程 bert-score , bert	0	20	2025 年11 月 21 日