算力基礎 / TOKEN WIKI
頻寬與互聯
一句話理解
頻寬表示單位時間內可傳輸的資料量；模型服務涉及顯存、設備互聯和網路等不同層級的頻寬。
為什麼與業務有關？
不同層次的瓶頸對應不同最佳化手段，網路頻寬並不能解決 GPU 間通訊問題。
應用時如何判斷？
明確瓶頸發生在記憶體、裝置、節點或客戶端網絡，再選擇對應的硬體或架構最佳化。
常見問題
頻寬越高，首字延遲越低嗎？
不一定，排隊、模型計算、路由和往返延遲也會影響首字時間。
頻寬表示單位時間內可傳輸的資料量；模型服務涉及顯存、設備互聯和網路等不同層級的頻寬。
不同層次的瓶頸對應不同最佳化手段，網路頻寬並不能解決 GPU 間通訊問題。
明確瓶頸發生在記憶體、裝置、節點或客戶端網絡，再選擇對應的硬體或架構最佳化。
不一定，排隊、模型計算、路由和往返延遲也會影響首字時間。
一起出海 ↗