算力基础 / TOKEN WIKI
带宽与互联
一句话理解
带宽表示单位时间内可传输的数据量；模型服务涉及显存、设备互联和网络等不同层次的带宽。
为什么与业务相关？
不同层次的瓶颈对应不同优化手段，互联网带宽并不能解决 GPU 间通信问题。
应用时如何判断？
明确瓶颈发生在内存、设备、节点还是客户端网络，再选择相应的硬件或架构优化。
常见问题
带宽越高，首字延迟越低吗？
不一定，排队、模型计算、路由和往返延迟也会影响首字时间。
带宽表示单位时间内可传输的数据量；模型服务涉及显存、设备互联和网络等不同层次的带宽。
不同层次的瓶颈对应不同优化手段，互联网带宽并不能解决 GPU 间通信问题。
明确瓶颈发生在内存、设备、节点还是客户端网络，再选择相应的硬件或架构优化。
不一定，排队、模型计算、路由和往返延迟也会影响首字时间。
一起出海 ↗