推理性能 / TOKEN WIKI
批处理 / Batching
一句话理解
批处理把多个计算任务组合执行，以改善硬件利用率；服务系统也可能采用连续批处理。
为什么与业务相关？
批大小、排队策略和输入差异会影响吞吐、内存与请求延迟。
应用时如何判断？
用真实请求分布测试批处理策略，平衡资源利用率与服务时延目标。
常见问题
批处理一定会让每个请求更快吗？
不一定，可能提高总吞吐，但增加个别请求等待。
批处理把多个计算任务组合执行，以改善硬件利用率；服务系统也可能采用连续批处理。
批大小、排队策略和输入差异会影响吞吐、内存与请求延迟。
用真实请求分布测试批处理策略，平衡资源利用率与服务时延目标。
不一定，可能提高总吞吐，但增加个别请求等待。
一起出海 ↗