算力基礎 / TOKEN WIKI
算力
一句話理解
算力描述計算系統執行計算任務的能力。在 AI 場景中，需要結合任務、精確度、硬體與軟體堆疊理解。
為什麼與業務有關？
理論峰值與真實應用吞吐有差異，不能只根據一個算力數字來選擇服務。
應用時如何判斷？
比較相同模型、精確度、輸入輸出規模的效能，同時檢視顯存、網路、供電和調度條件。
常見問題
算力越高，推理一定越快嗎？
不一定，記憶體、通訊、調度與任務形式都可能成為瓶頸。
算力描述計算系統執行計算任務的能力。在 AI 場景中，需要結合任務、精確度、硬體與軟體堆疊理解。
理論峰值與真實應用吞吐有差異，不能只根據一個算力數字來選擇服務。
比較相同模型、精確度、輸入輸出規模的效能，同時檢視顯存、網路、供電和調度條件。
不一定，記憶體、通訊、調度與任務形式都可能成為瓶頸。
一起出海 ↗