Model and Inference / TOKEN WIKI
The capabilities of the
蒸留 / 知識の蒸留
一文でわかる
モデルの蒸留は、教師モデルの出力、確率分布、または中間情報を使用して生徒モデルをトレーニングし、ターゲット タスクに関する教師の能力の一部を学習できるようにします。
がビジネスに関連するのはなぜですか?
は、適切なタスクでの展開リソースと推論コストを削減できますが、その効果は教師の品質、トレーニング サンプル、評価方法によって影響を受けます。
を適用する場合の判断方法は？
は、まず対象となるタスクと指標を明確にし、独立した評価セットを準備し、データとモデルの認可を検証します。同時に、品質、遅延、単位タスクのコストも比較します。
よくある質問
蒸留はモデル パラメーターの定量化または複製と同じですか?
はそうではありません。蒸留には通常、学生モデルのトレーニングが含まれます。量子化は主に数値表現を変更するもので、この 2 つを組み合わせて使用できます。
