XNews

Perplexity、Apple Silicon向けカスタムローカル推論エンジン「Lily」をオープンソース化

Perplexity、Apple Silicon向けカスタムローカル推論エンジン「Lily」をオープンソース化

Perplexityは、Mac Hybrid Compute機能向けに構築されたローカル推論エンジン「Lily」をオープンソース化した。Lilyは、カスタムMetalカーネルを備えたRustランタイムを使用し、Apple Silicon上でQwen3.6-35B-A3Bモデルに特化して深く最適化されており、PyTorchやMLXに依存しない。M5 Maxでは、プリフィルスループットが平均1.23倍(MLX-LM比)、デコードが1.35倍を達成。最適化戦略には、GPUパスを推論フェーズにマッチングさせること、重みをオンチップで展開してデータ移動を最小化しルーティングをGPUに保持すること、計測されたワークロード形状に基づいてカーネル設定を選択することなどが含まれる。このエンジンは、MoE GEMMおよびGEMVにおいて、それぞれ最大持続重量読み取り帯域幅の97.9%および90.3%を達成する。投機的デコードはこのハードウェアでは18%遅いことが判明した。

Source posts