詞元與計費 / TOKEN WIKI
輸出 Token
一句話理解
輸出 Token 是模型產生的結果用量。不同服務也可能把推理過程中產生的特定用量單獨列出。
為什麼與業務有關？
輸出單價和產生長度會顯著影響任務成本，長答案並不總是能帶來更高業務價值。
應用時如何判斷？
設定合理的輸出長度上限，記錄完整任務的成功率，並核對供應商對推理用量的計量方式。
常見問題
限制輸出長度能降低成本嗎？
可以限制生成用量上限，但還需兼顧答案完整性和重試成本。
輸出 Token 是模型產生的結果用量。不同服務也可能把推理過程中產生的特定用量單獨列出。
輸出單價和產生長度會顯著影響任務成本，長答案並不總是能帶來更高業務價值。
設定合理的輸出長度上限，記錄完整任務的成功率，並核對供應商對推理用量的計量方式。
可以限制生成用量上限，但還需兼顧答案完整性和重試成本。
一起出海 ↗