詞元與計費 / TOKEN WIKI
輸入 Token
一句話理解
輸入 Token 是一次模型請求中被模型讀取的資訊量，通常包含使用者問題、系統提示、歷史對話及工具等上下文。
為什麼與業務有關？
多輪應用程式可能會重複提交歷史訊息，輸入費用會隨情境成長而增加。
應用時如何判斷？
把系統提示、檢索文件與聊天歷史都納入測試，並確認快取命中部分是否單獨計費。
常見問題
輸入 Token 只算本次問題嗎？
通常也包含隨請求傳送的歷史與其他上下文，具體以介面計量為準。
輸入 Token 是一次模型請求中被模型讀取的資訊量，通常包含使用者問題、系統提示、歷史對話及工具等上下文。
多輪應用程式可能會重複提交歷史訊息，輸入費用會隨情境成長而增加。
把系統提示、檢索文件與聊天歷史都納入測試，並確認快取命中部分是否單獨計費。
通常也包含隨請求傳送的歷史與其他上下文，具體以介面計量為準。
一起出海 ↗