推理性能 / TOKEN WIKI
推理延迟
一句话理解
推理延迟描述从请求发起到输出产生或完成所经历的时间，应区分排队、首字与总耗时。
为什么与业务相关？
平均值可能掩盖长尾体验，交互式应用还需要观察高分位延迟。
应用时如何判断？
分别记录首字时间、生成速度、端到端耗时以及 p95 或 p99 等分位数。
常见问题
平均延迟低就代表体验好吗？
不一定，长尾、失败重试及首字等待都可能影响用户体验。
推理延迟描述从请求发起到输出产生或完成所经历的时间，应区分排队、首字与总耗时。
平均值可能掩盖长尾体验，交互式应用还需要观察高分位延迟。
分别记录首字时间、生成速度、端到端耗时以及 p95 或 p99 等分位数。
不一定，长尾、失败重试及首字等待都可能影响用户体验。
一起出海 ↗