token简介

🛠工具与编程

doggie 2025年10月05日02:00 1

把单词/字转换成数字向量
用有效的token覆盖尽可能多的文本

算法

BPE
WordPiece

参考

3分钟搞清楚大模型的Token是什么_哔哩哔哩_bilibili

話題		回覆	觀看	活動
deepseek提出把文字压缩成图片token然后处理，可以节省算力 🛠工具与编程 deepseek	0	13	2025年12月04日
transformer详细解释 🛠工具与编程	0	22	2025年10月04日
预训练语言模型发展史 🛠工具与编程大模型 , 自然语言处理	1	29	2025年10月08日
【转载】语言模型简介 🛠工具与编程	0	40	2025年03月09日
bert-score测量速度的优化 🛠工具与编程 bert-score , bert	0	20	2025年11月21日