出海與架構 / TOKEN WIKI
限流 / Rate Limit
一句話理解
限流是控制一段時間內請求量、Token 用量或併發的機制，常用於管理資源與服務穩定度。
為什麼與業務有關？
不同配額可能同時生效，不能只依照請求次數估算可承載業務量。
應用時如何判斷？
讀取供應商返回訊息，實施有上限的退避重試和應用側並發控制。
常見問題
收到429錯誤應該一直重試嗎？
不應無限重試，應按配額和退避策略處理，並設定總逾時。
限流是控制一段時間內請求量、Token 用量或併發的機制，常用於管理資源與服務穩定度。
不同配額可能同時生效，不能只依照請求次數估算可承載業務量。
讀取供應商返回訊息，實施有上限的退避重試和應用側並發控制。
不應無限重試，應按配額和退避策略處理，並設定總逾時。
一起出海 ↗