模型与推理 / TOKEN WIKI
蒸馏 / Knowledge Distillation
一句话理解
模型蒸馏是利用教师模型的输出、概率分布或中间信息训练学生模型，使其在目标任务上学习教师的部分能力。
为什么与业务相关？
在适当任务中可减少部署资源与推理成本，但效果受教师质量、训练样本和评估方式影响。
应用时如何判断？
先明确目标任务与指标，准备独立评测集，并核实数据和模型授权；同时比较质量、延迟与单位任务成本。
常见问题
蒸馏等于量化或复制模型参数吗？
不是。蒸馏通常涉及学生模型训练；量化主要改变数值表示，两者可以组合使用。
