算力基礎 / TOKEN WIKI
記憶體 / VRAM
一句話理解
顯存是 GPU 存放模型權重、中間狀態和其他計算資料的專用記憶體。
為什麼與業務有關？
模型權重並非唯一佔用，長上下文、KV Cache 與並發也會增加記憶體需求。
應用時如何判斷？
以實際部署框架測試峰值內存，預留系統開銷與運行餘量。量化可減少部分權重記憶體。
常見問題
模型權重能裝下就能穩定運作嗎？
不一定，運行時狀態和並發請求還需要額外記憶體。
顯存是 GPU 存放模型權重、中間狀態和其他計算資料的專用記憶體。
模型權重並非唯一佔用，長上下文、KV Cache 與並發也會增加記憶體需求。
以實際部署框架測試峰值內存，預留系統開銷與運行餘量。量化可減少部分權重記憶體。
不一定，運行時狀態和並發請求還需要額外記憶體。
一起出海 ↗