词元与计费 / TOKEN WIKI
Tokenizer / 分词器
一句话理解
分词器把原始文本转换为模型可处理的 Token 序列，并把输出 Token 还原成可读内容。
为什么与业务相关？
分词规则影响上下文占用和调用费用，跨模型比较必须统一任务而不是机械比较 Token 数。
应用时如何判断？
使用供应商指定版本的分词器，保留角色模板、系统提示与特殊标记的开销。
常见问题
为什么同一段文本的 Token 数不一样？
不同词表、算法和对话模板会导致不同的拆分结果。
分词器把原始文本转换为模型可处理的 Token 序列，并把输出 Token 还原成可读内容。
分词规则影响上下文占用和调用费用，跨模型比较必须统一任务而不是机械比较 Token 数。
使用供应商指定版本的分词器，保留角色模板、系统提示与特殊标记的开销。
不同词表、算法和对话模板会导致不同的拆分结果。
一起出海 ↗