Model and Inference / TOKEN WIKI
The capabilities of the
推論/推論
一文でわかる
推論は、トレーニングされたモデルを使用して新しい入力を計算し、出力を生成するプロセスであり、モデルのパラメーターを更新するトレーニングとは異なります。
がビジネスに関連するのはなぜですか?
オンライン推論は、リクエストのレイテンシ、スループット、安定性、およびユニットタスクコストに重点を置いています。
を適用する場合の判断方法は？
は、実際の入力と出力の長さ、同時実行性、成功基準に従ってストレス テストされています。理想的な短いリクエストだけを使用しないでください。
よくある質問
モデル推論とモデル トレーニングの違いは何ですか?
トレーニングはモデル パラメーターを調整します。通常、推論では既存のパラメーターを使用して新しい入力を処理します。
