XNews

Perplexity、Apple Silicon向けカスタム推論エンジン「Lily」をオープンソース化

Perplexity、Apple Silicon向けカスタム推論エンジン「Lily」をオープンソース化

Perplexityは、Apple Silicon向けに最適化されたRustベースの推論エンジン「Lily」をオープンソース化しました。Qwen3.6-35B-A3Bモデルに対応し、MLX-LMと比較してプリフィル処理で1.23倍、デコード処理で1.35倍のスループットを達成。カスタムMetalカーネルを採用し、PyTorchへの依存を排除しています。

Source posts