推理表現 / TOKEN WIKI

吞吐量 / Throughput

Token超算力內容編輯 · 更新於 2026-10-28 · 入門級說明

一句話理解

吞吐量是在給定時間內處理的請求或 Token 數，需要說明統計物件與測試條件。

為什麼與業務有關？

系統總吞吐與單一使用者產生速度並非同一個指標。高總吞吐可能伴隨更長排隊時間。

同時報告並發、輸入輸出長度、成功率和延遲分位數，避免脫離條件比較。

Token/s 是單一請求還是整機指標？

兩者都可能，需要先確認測試口徑。