Perplexity 开源 Mac 本地推理引擎 Lily

Perplexity 开源了 Lily,这是一个面向 Mac 混合计算架构的本地推理引擎。
Key insights
Lily 是单模型、单硬件的推理引擎
Perplexity 使用 Rust 和自定义 Metal 内核构建了 Lily,仅针对 Qwen3.6-35B-A3B 模型和 Apple Silicon 芯片。它不依赖 PyTorch 或 MLX,以单进程方式运行,负责模型加载、会话管理、兼容 OpenAI 的 API 以及 Metal 内核执行。在 M5 Max 上,其平均预填充吞吐量达到 MLX-LM 的 1.23 倍,解码吞吐量达到 1.35 倍。该项目有意放弃通用性,以便执行计划、内核选择和运行时能够围绕单一模型架构和单一硬件系列进行协调。
混合计算需要本地推理速度
Perplexity 的混合计算架构使用云端资源进行研究和推理,而本地模型则处理私有文件和应用。构建专用引擎的明确理由是:如果本地推理速度跟不上,整体任务体验就会中断。Lily 的设计目标是在预填充阶段快速处理提示,并在解码阶段保持高生成速率,从而满足 Mac 应用混合计算的需求。
预填充优化实现权重复用并将路由保留在 GPU 上
Lily 将 4 位权重从约 70GB 压缩至 19.4GB,并在 GEMM 过程中在芯片上进行反量化,在 512 token 提示下获得 77.4% 的性能提升。路由直方图、前缀和、散射和块映射均保留在单个 GPU 命令缓冲区中,获得 89% 的提升。使用包含 4 个 simdgroup 的 32 行 tile,在 2K 提示下额外提升 13.2%。循环状态以 fp32 格式保留在寄存器中,再提升 5.6%。分块预填充通过保留当前块激活值,同时权重、循环状态和 KV 缓存跨块持续运行,从而限制峰值内存占用。
解码优化针对 CPU 同步和 KV 带宽
Lily 采用基于 simdgroup 的行并行 GEMV,并通过双命令缓冲区和持久化 token 槽将 token 交接保留在 GPU 内,消除了逐 token 的 CPU 同步。单次解码步骤启动 795 个内核,并将 555 个串行阶段替换为基于实际数据依赖关系的并发 Metal 传递。它融合了四条链,合并 KV 缓存读取,并采用 GQA 打包,使得每个 KV 行只加载一次,并被四个查询头复用,在 32K 上下文下获得 23.8% 的性能提升。长上下文注意力切换带来 +7.7%(32K)、+27.4%(64K)和 +40.2%(128K)的提升。
权衡与硬件限制已记录在案
推测解码速度慢了 18%,原因是验证过程处理 2-5 行,在该硬件上属于低效形状,且跨行选中的专家增加了权重读取。减少 GPU 启动次数、整阶段重叠、更大的预填充 tile、更广泛的融合、加速路由以及合并输出投影与 token 选择,均未提升端到端性能。MoE GEMM 和 GEMV 分别达到其访问模式下最快持续权重读取速率的 97.9% 和 90.3%;从稀疏 GEMV 中移除算术运算仅使吞吐量变化 0.2%,表明权重读取是瓶颈所在。
Lily 已开源并驱动 Mac 混合计算
Perplexity 宣布 Lily 已被开源,并驱动 Perplexity Mac 应用中新推出的混合计算功能。GitHub 代码现已可用,此次发布将 Lily 定位为 Mac Apple Silicon 设备上的本地服务层。