模型與推理 / TOKEN WIKI
蒸餾 / Knowledge Distillation
一句話理解
模型蒸餾是利用教師模型的輸出、機率分佈或中間資訊訓練學生模型，使其在目標任務上學習教師的部分能力。
為什麼與業務有關？
在適當任務中可減少部署資源與推理成本，但效果受教師品質、訓練樣本和評估方式影響。
應用時如何判斷？
先明確目標任務與指標，準備獨立評測集，並核實資料與模型授權；同時比較品質、延遲與單位任務成本。
常見問題
蒸餾等於量化或複製模型參數嗎？
不是。蒸餾通常涉及學生模型訓練；量化主要改變數值表示，兩者可以組合使用。
