模型與推理 / TOKEN WIKI
推理 / Inference
一句話理解
推理是使用已訓練模型對新輸入計算並產生輸出的過程，與更新模型參數的訓練不同。
為什麼與業務有關？
線上推理著重於請求延遲、吞吐、穩定性和單位任務成本。
應用時如何判斷？
按實際輸入輸出長度、並發和成功標準壓測，不要只使用理想化短請求。
常見問題
模型推理和模型訓練有什麼不同？
訓練調整模型參數；推理通常使用已有參數處理新輸入。
推理是使用已訓練模型對新輸入計算並產生輸出的過程，與更新模型參數的訓練不同。
線上推理著重於請求延遲、吞吐、穩定性和單位任務成本。
按實際輸入輸出長度、並發和成功標準壓測，不要只使用理想化短請求。
訓練調整模型參數；推理通常使用已有參數處理新輸入。
一起出海 ↗