词元与计费 / TOKEN WIKI
输入 Token
一句话理解
输入 Token 是一次模型请求中被模型读取的信息量,通常包含用户问题、系统提示、历史对话及工具等上下文。
为什么与业务相关?
多轮应用可能反复提交历史消息,输入费用会随上下文增长而增加。
应用时如何判断?
把系统提示、检索文档与聊天历史都纳入测试,并确认缓存命中部分是否单独计费。
常见问题
输入 Token 只算本次问题吗?
通常还包含随请求发送的历史与其他上下文,具体以接口计量为准。
输入 Token 是一次模型请求中被模型读取的信息量,通常包含用户问题、系统提示、历史对话及工具等上下文。
多轮应用可能反复提交历史消息,输入费用会随上下文增长而增加。
把系统提示、检索文档与聊天历史都纳入测试,并确认缓存命中部分是否单独计费。
通常还包含随请求发送的历史与其他上下文,具体以接口计量为准。
一起出海 ↗