token简介

🛠工具与编程 🤖人工智能

doggie 2025 年10 月 5 日 02:00 1

把单词/字转换成数字向量
用有效的token覆盖尽可能多的文本

算法

BPE
WordPiece

参考

3分钟搞清楚大模型的Token是什么_哔哩哔哩_bilibili

话题		回复	浏览量	活动
A022近期人工智能学习总结 🗣️闲聊人工智能	0	208	2023 年8 月 27 日
transformer详细解释 💻编程	0	3	2025 年10 月 4 日
attention机制 🤖人工智能	0	63	2024 年7 月 20 日
关于“🤖人工智能”类别 🤖人工智能	0	169	2023 年11 月 1 日
深度学习概念backbone、neck、head 🤖人工智能 one-stage-anchor-free	0	234	2023 年11 月 1 日