推理表現 / TOKEN WIKI
模型量化
一句話理解
模型量化使用較低精度的數值表示部分模型資料或計算，以降低資源開銷。
為什麼與業務有關？
量化可能減少記憶體或改善效能，但具體效果取決於模型、硬體、方法及精確度損失。
應用時如何判斷？
先驗證任務質量，再比較真實記憶體、吞吐和延遲，確認所用算子與框架支援。
常見問題
量化後準確率完全不變嗎？
不能保證，需要針對目標任務重新評估。
模型量化使用較低精度的數值表示部分模型資料或計算，以降低資源開銷。
量化可能減少記憶體或改善效能，但具體效果取決於模型、硬體、方法及精確度損失。
先驗證任務質量，再比較真實記憶體、吞吐和延遲，確認所用算子與框架支援。
不能保證，需要針對目標任務重新評估。
一起出海 ↗