推理服务提供商在共享GPU容量上权衡速度与成本

推理服务提供商面临速度与成本之间的权衡,因为两者都取决于用户如何在GPU上分配。Groq和Cerebras优先考虑速度,而CoreWeave、Novita和Crusoe则倾向于更低的价格。一块Blackwell GPU服务单个用户时每秒可处理约1,000个token,而跨用户共享可将总吞吐量提升至每秒60,000个token,但每个用户的速度降至约每秒20–100个token。
事件版本 1.
Key insights
速度需要闲置容量
追求速度意味着减少每块GPU上的用户数量,这会留下更多闲置算力并提高token成本。
提供商按优先级分化
Groq和Cerebras选择了速度,而CoreWeave、Novita和Crusoe则倾向于更低的价格。
单用户吞吐量有限
一块Blackwell GPU服务单个用户时每秒提供约1,000个token,整块卡也只产生同样的每秒1,000个token。
共享提升总量但降低单用户速度
多个用户共享一块GPU时,总吞吐量可升至每秒60,000个token,但每个用户仅获得约每秒20–100个token。
权衡本质是资源分配
速度和成本本质上是同一块GPU上的资源分配问题。