token简介

🛠工具与编程 🤖人工智能

doggie 2025 年10 月 5 日 02:00 1

把单词/字转换成数字向量
用有效的token覆盖尽可能多的文本

算法

BPE
WordPiece

参考

3分钟搞清楚大模型的Token是什么_哔哩哔哩_bilibili

话题		回复	浏览量	活动
deepseek提出把文字压缩成图片token然后处理，可以节省算力 🤖人工智能 deepseek	0	9	2025 年12 月 4 日
transformer详细解释 💻编程	0	16	2025 年10 月 4 日
预训练语言模型发展史 🤖人工智能大模型 , 自然语言处理	1	22	2025 年10 月 8 日
【转载】语言模型简介 🛠工具与编程	0	26	2025 年3 月 9 日
【工具推荐】大模型api聚合平台——newapi 🛠工具与编程工具推荐	0	41	2025 年12 月 17 日