Perplexity 开源 Lily:专为 Apple Silicon 定制的推理引擎

Perplexity 开源了 Lily,这是一个基于 Rust 的推理引擎,针对 Apple Silicon 上的 Qwen3.6-35B-A3B 模型进行了优化。与 MLX-LM 相比,其预填充吞吐量提升 1.23 倍,解码吞吐量提升 1.35 倍,采用自定义 Metal 内核且不依赖 PyTorch。

Perplexity 开源了 Lily,这是一个基于 Rust 的推理引擎,针对 Apple Silicon 上的 Qwen3.6-35B-A3B 模型进行了优化。与 MLX-LM 相比,其预填充吞吐量提升 1.23 倍,解码吞吐量提升 1.35 倍,采用自定义 Metal 内核且不依赖 PyTorch。