計算能力の基礎 / トークン WIKI
帯域幅と相互接続
一文でわかる
帯域幅は、単位時間あたりに送信できるデータ量を表します。モデル サービスには、ビデオ メモリ、デバイスの相互接続、ネットワークなど、さまざまなレベルの帯域幅が関係します。
がビジネスに関連するのはなぜですか?
さまざまなレベルのボトルネックはさまざまな最適化方法に対応しており、インターネット帯域幅では GPU 間の通信の問題を解決できません。
を適用する場合の判断方法は？
ボトルネックがメモリ、機器、ノード、またはクライアント ネットワークで発生しているかどうかを特定し、対応するハードウェアまたはアーキテクチャの最適化を選択します。
よくある質問
帯域幅が大きいほど、最初のワード遅延は小さくなりますか?
必ずしもではありませんが、キューイング、モデル計算、ルーティング、往復遅延も最初のワード時間に影響します。
