算力基礎 / TOKEN WIKI
GPU / 圖形處理器
一句話理解
GPU 是適合大規模平行運算的處理器，常用於深度學習訓練、推理和科學運算。
為什麼與業務有關？
不同晶片的顯存、頻寬、精度支援和軟體生態會影響可部署模型與單位成本。
應用時如何判斷？
先確認模型記憶體需求、平行方式及框架相容，再透過目標任務壓測比較。
常見問題
選 GPU 只看顯存大小夠嗎？
不夠，還需考慮頻寬、算力、互聯、驅動及推理框架支援。
GPU 是適合大規模平行運算的處理器，常用於深度學習訓練、推理和科學運算。
不同晶片的顯存、頻寬、精度支援和軟體生態會影響可部署模型與單位成本。
先確認模型記憶體需求、平行方式及框架相容，再透過目標任務壓測比較。
不夠，還需考慮頻寬、算力、互聯、驅動及推理框架支援。
一起出海 ↗