推理性能 / TOKEN WIKI
流式输出 / Streaming
一句话理解
流式输出让应用在完整结果生成之前逐步接收内容，常用于对话和实时交互。
为什么与业务相关？
它改善可感知等待，但不自动减少总 Token 用量或总计算成本。
应用时如何判断？
处理连接中断、超时、结束标记与最终用量，确保重试不会产生重复业务动作。
常见问题
流式输出更便宜吗？
计费取决于供应商与实际用量，流式本身不代表优惠。
流式输出让应用在完整结果生成之前逐步接收内容，常用于对话和实时交互。
它改善可感知等待，但不自动减少总 Token 用量或总计算成本。
处理连接中断、超时、结束标记与最终用量，确保重试不会产生重复业务动作。
计费取决于供应商与实际用量，流式本身不代表优惠。
一起出海 ↗