Parasail将Positron Titan加入其多芯片推理云
Parasail将Positron Titan加入其多芯片推理云,该云将多种类型的AI芯片置于单一API之后,并将工作负载匹配到合适的硬件。Titan旨在使用商用DRAM运行极大型模型,并采用风冷设计,服务于电力和冷却受限的环境。
事件版本 1.
Key insights
多芯片推理云
Parasail将多种类型的AI芯片置于同一API之后,而不是围绕单一类型的芯片构建整个栈。它将工作负载匹配到适合它们的硬件。
Titan以商用DRAM瞄准大型模型
Positron Titan旨在使用商用DRAM运行极大型模型。它采用风冷设计,这使其在电力和冷却更为受限的环境中非常有用。
面向多样化AI工作负载的硬件选项
Titan为Parasail提供了另一种硬件选项,用于长运行代理、代理集群和物理AI系统。这些工作负载不同于标准的推理请求。