模型与推理 / TOKEN WIKI
上下文窗口
一句话理解
上下文窗口是模型一次处理时可容纳的 Token 范围，通常涉及输入和输出预算。
为什么与业务相关？
标称窗口容量不等于在所有位置都能可靠利用全部信息，也不代表无限记忆。
应用时如何判断？
评估长文档中关键信息的位置影响，并为输出、模板和工具结果留出空间。
常见问题
上下文窗口等于对话永久记忆吗？
不是，应用需要重新提供或检索所需信息。
上下文窗口是模型一次处理时可容纳的 Token 范围，通常涉及输入和输出预算。
标称窗口容量不等于在所有位置都能可靠利用全部信息，也不代表无限记忆。
评估长文档中关键信息的位置影响，并为输出、模板和工具结果留出空间。
不是，应用需要重新提供或检索所需信息。
一起出海 ↗