词元与计费 / TOKEN WIKI
Token / 词元
一句话理解
Token 是模型处理信息的基本单位；在文本模型中通常由分词器把文字拆成词、子词、字符或字节片段。
为什么与业务相关？
同一段文字在不同模型中可能产生不同 Token 数，不能把字数当成固定计费用量。
应用时如何判断？
估算预算时应使用目标模型的分词器，并核对 API 响应中的实际用量。多模态模型的图像、音频计量还需查对应说明。
常见问题
一个汉字等于几个 Token？
没有固定比例。语言、标点、内容与分词器都会改变结果。
Token 是模型处理信息的基本单位；在文本模型中通常由分词器把文字拆成词、子词、字符或字节片段。
同一段文字在不同模型中可能产生不同 Token 数，不能把字数当成固定计费用量。
估算预算时应使用目标模型的分词器，并核对 API 响应中的实际用量。多模态模型的图像、音频计量还需查对应说明。
没有固定比例。语言、标点、内容与分词器都会改变结果。
一起出海 ↗