推理性能 / TOKEN WIKI
吞吐量 / Throughput
一句话理解
吞吐量是在给定时间内处理的请求或 Token 数，需要说明统计对象与测试条件。
为什么与业务相关？
系统总吞吐与单用户生成速度并非同一个指标。高总吞吐可能伴随更长排队时间。
应用时如何判断？
同时报告并发、输入输出长度、成功率和延迟分位数，避免脱离条件比较。
常见问题
Token/s 是单请求还是整机指标？
两者都可能，需要先确认测试口径。
吞吐量是在给定时间内处理的请求或 Token 数，需要说明统计对象与测试条件。
系统总吞吐与单用户生成速度并非同一个指标。高总吞吐可能伴随更长排队时间。
同时报告并发、输入输出长度、成功率和延迟分位数，避免脱离条件比较。
两者都可能，需要先确认测试口径。
一起出海 ↗