XNews

推理服务提供商在共享GPU容量上权衡速度与成本

推理服务提供商在共享GPU容量上权衡速度与成本

推理服务提供商面临速度与成本之间的权衡,因为两者都取决于用户如何在GPU上分配。Groq和Cerebras优先考虑速度,而CoreWeave、Novita和Crusoe则倾向于更低的价格。一块Blackwell GPU服务单个用户时每秒可处理约1,000个token,而跨用户共享可将总吞吐量提升至每秒60,000个token,但每个用户的速度降至约每秒20–100个token。

事件版本 1.

Key insights

速度需要闲置容量

追求速度意味着减少每块GPU上的用户数量,这会留下更多闲置算力并提高token成本。

提供商按优先级分化

Groq和Cerebras选择了速度,而CoreWeave、Novita和Crusoe则倾向于更低的价格。

单用户吞吐量有限

一块Blackwell GPU服务单个用户时每秒提供约1,000个token,整块卡也只产生同样的每秒1,000个token。

共享提升总量但降低单用户速度

多个用户共享一块GPU时,总吞吐量可升至每秒60,000个token,但每个用户仅获得约每秒20–100个token。

权衡本质是资源分配

速度和成本本质上是同一块GPU上的资源分配问题。

Source posts