算力基础 / TOKEN WIKI
显存 / VRAM
一句话理解
显存是 GPU 存放模型权重、中间状态和其他计算数据的专用内存。
为什么与业务相关？
模型权重并非唯一占用，长上下文、KV Cache 与并发也会增加内存需求。
应用时如何判断？
以实际部署框架测试峰值内存，预留系统开销与运行余量。量化可减少部分权重内存。
常见问题
模型权重能装下就能稳定运行吗？
不一定，运行时状态和并发请求还需要额外内存。
显存是 GPU 存放模型权重、中间状态和其他计算数据的专用内存。
模型权重并非唯一占用，长上下文、KV Cache 与并发也会增加内存需求。
以实际部署框架测试峰值内存，预留系统开销与运行余量。量化可减少部分权重内存。
不一定，运行时状态和并发请求还需要额外内存。
一起出海 ↗