模型与推理 / TOKEN WIKI
推理 / Inference
一句话理解
推理是使用已训练模型对新输入计算并生成输出的过程，与更新模型参数的训练不同。
为什么与业务相关？
线上推理关注请求延迟、吞吐、稳定性和单位任务成本。
应用时如何判断？
按实际输入输出长度、并发和成功标准压测，不要只使用理想化短请求。
常见问题
模型推理和模型训练有什么区别？
训练调整模型参数；推理通常使用已有参数处理新输入。
推理是使用已训练模型对新输入计算并生成输出的过程，与更新模型参数的训练不同。
线上推理关注请求延迟、吞吐、稳定性和单位任务成本。
按实际输入输出长度、并发和成功标准压测，不要只使用理想化短请求。
训练调整模型参数；推理通常使用已有参数处理新输入。
一起出海 ↗