模型與推理 / TOKEN WIKI
上下文視窗
一句話理解
上下文視窗是模型一次處理時可容納的 Token 範圍，通常涉及輸入和輸出預算。
為什麼與業務有關？
標稱視窗容量不等於在所有位置都能可靠利用全部訊息，也不代表無限記憶。
應用時如何判斷？
評估長文檔中關鍵資訊的位置影響，並為輸出、範本和工具結果留出空間。
常見問題
上下文視窗等於對話永久記憶嗎？
不是，應用需要重新提供或檢索所需資訊。
上下文視窗是模型一次處理時可容納的 Token 範圍，通常涉及輸入和輸出預算。
標稱視窗容量不等於在所有位置都能可靠利用全部訊息，也不代表無限記憶。
評估長文檔中關鍵資訊的位置影響，並為輸出、範本和工具結果留出空間。
不是，應用需要重新提供或檢索所需資訊。
一起出海 ↗