推理性能 / TOKEN WIKI
TTFT / 首 Token 时间
一句话理解
TTFT 指从请求开始到收到第一个输出 Token 的时间，常用于衡量流式交互的等待体验。
为什么与业务相关？
短首字时间不意味着整段生成更快，还需观察后续 Token 间隔与总耗时。
应用时如何判断？
明确测量起止点，包含必要的网络与排队时间，并记录输入长度和并发条件。
常见问题
TTFT 与完整回答时间相同吗？
不同，完整回答还包含后续生成过程。
TTFT 指从请求开始到收到第一个输出 Token 的时间，常用于衡量流式交互的等待体验。
短首字时间不意味着整段生成更快，还需观察后续 Token 间隔与总耗时。
明确测量起止点，包含必要的网络与排队时间，并记录输入长度和并发条件。
不同，完整回答还包含后续生成过程。
一起出海 ↗