算力基础 / TOKEN WIKI
算力
一句话理解
算力描述计算系统执行计算任务的能力。在 AI 场景中，需要结合任务、精度、硬件与软件栈理解。
为什么与业务相关？
理论峰值与真实应用吞吐存在差别，不能只根据一个算力数字选择服务。
应用时如何判断？
比较相同模型、精度、输入输出规模下的性能，同时考察显存、网络、供电和调度条件。
常见问题
算力越高，推理一定越快吗？
不一定，内存、通信、调度与任务形态都可能成为瓶颈。
算力描述计算系统执行计算任务的能力。在 AI 场景中，需要结合任务、精度、硬件与软件栈理解。
理论峰值与真实应用吞吐存在差别，不能只根据一个算力数字选择服务。
比较相同模型、精度、输入输出规模下的性能，同时考察显存、网络、供电和调度条件。
不一定，内存、通信、调度与任务形态都可能成为瓶颈。
一起出海 ↗