推理性能 / TOKEN WIKI
模型量化
一句话理解
模型量化使用较低精度的数值表示部分模型数据或计算，以降低资源开销。
为什么与业务相关？
量化可能减少内存或改善性能，但具体效果取决于模型、硬件、方法及精度损失。
应用时如何判断？
先验证任务质量，再比较真实内存、吞吐和延迟，确认所用算子与框架支持。
常见问题
量化后准确率完全不变吗？
不能保证，需要针对目标任务重新评估。
模型量化使用较低精度的数值表示部分模型数据或计算，以降低资源开销。
量化可能减少内存或改善性能，但具体效果取决于模型、硬件、方法及精度损失。
先验证任务质量，再比较真实内存、吞吐和延迟，确认所用算子与框架支持。
不能保证，需要针对目标任务重新评估。
一起出海 ↗