推理表現 / TOKEN WIKI
推理延遲
一句話理解
推理延遲描述從請求發起到輸出產生或完成所經歷的時間，應區分排隊、首字與總耗時。
為什麼與業務有關？
平均值可能掩蓋長尾體驗，互動式應用也需要觀察高分位延遲。
應用時如何判斷？
分別記錄首字時間、產生速度、端對端耗時以及 p95 或 p99 等分位數。
常見問題
平均延遲低就代表體驗好嗎？
不一定，長尾、失敗重試及首字等待都可能影響使用者體驗。
推理延遲描述從請求發起到輸出產生或完成所經歷的時間，應區分排隊、首字與總耗時。
平均值可能掩蓋長尾體驗，互動式應用也需要觀察高分位延遲。
分別記錄首字時間、產生速度、端對端耗時以及 p95 或 p99 等分位數。
不一定，長尾、失敗重試及首字等待都可能影響使用者體驗。
一起出海 ↗