Perplexity 开源 Lily,一款专为 Apple Silicon 定制的本地推理引擎

Perplexity 开源了 Lily,这是一个专为其 Mac Hybrid Compute 特性构建的本地推理引擎。Lily 采用 Rust 运行时,并配有自定义 Metal 内核,专门针对 Apple Silicon 上的 Qwen3.6-35B-A3B 模型进行了深度优化,不依赖 PyTorch 或 MLX。在 M5 Max 上,预填充吞吐量平均为 MLX-LM 的 1.23 倍,解码吞吐量为 1.35 倍。优化策略包括:根据推理阶段匹配 GPU 路径,通过在芯片上解压权重来最小化数据移动并将路由保留在 GPU 上,以及根据实测的工作负载形状选择内核配置。该引擎在 MoE GEMM 和 GEMV 上分别达到了最大持续权重读取带宽的 97.9% 和 90.3%。在此硬件上,推测性解码被证明速度慢了 18%。