XNews

Perplexity、Mac向けローカル推論エンジン「Lily」をオープンソース化

Perplexity、Mac向けローカル推論エンジン「Lily」をオープンソース化

Perplexityは、Mac Hybrid Compute向けのローカル推論エンジン「Lily」をオープンソース化した。RustランタイムとカスタムMetalカーネルで構築され、Qwen3.6-35B-A3BとApple Siliconのみを対象とし、PyTorchやMLXに依存しない。単一プロセスでモデル読み込み、セッション管理、OpenAI互換API、Metalカーネル実行を処理する。M5 Maxでは平均プリフィルスループットがMLX-LM比1.23倍、デコードスループットが1.35倍を達成。同プロジェクトは意図的に汎用性を犠牲にし、実行計画、カーネル選択、ランタイムを1つのモデルアーキテクチャと1つのハードウェアファミリに合わせて調整している。

Key insights

Lilyは単一モデル・単一ハードウェア向け推論エンジン

PerplexityはLilyをRustで開発し、カスタムMetalカーネルを使用。Qwen3.6-35B-A3BとApple Siliconのみを対象とし、PyTorchやMLXに依存しない。単一プロセスでモデル読み込み、セッション管理、OpenAI互換API、Metalカーネル実行を担当する。M5 Maxでは、平均プリフィルスループットがMLX-LM比1.23倍、デコードスループットが1.35倍に達する。このプロジェクトは意図的に汎用性を放棄し、実行計画、カーネル選択、ランタイムを1つのモデルアーキテクチャと1つのハードウェアファミリに最適化している。

ハイブリッドコンピューティングにはローカル推論の速度が必要

PerplexityのHybrid Computeは、研究や推論にクラウドリソースを使用する一方、ローカルモデルがプライベートファイルやアプリケーションを処理する。専用エンジンを構築した理由は、ローカル推論が追いつかなければ、タスク全体の体験が損なわれるためである。Lilyはプリフィル時のプロンプト処理を高速化し、デコード時の高い生成レートを維持するよう設計されており、Macアプリのハイブリッドコンピューティング需要に対応する。

プリフィル最適化:重みの再利用とGPU上でのルーティング

Lilyは4ビット重みを約70GBから19.4GBに圧縮し、GEMM時にオンチップで逆量子化することで、512トークンプロンプトで77.4%の高速化を達成。ルーティングヒストグラム、プレフィックスサム、スキャッター、ブロックマップを1つのGPUコマンドバッファに収めることで89%の高速化。2Kプロンプトでは32行タイル×4 simdgroupsで13.2%向上。リカレント状態をfp32でレジスタに保持し5.6%向上。チャンク化プリフィルは、現在のチャンクのアクティベーションのみを保持し、重み、リカレント状態、KVキャッシュはチャンク間で継続されるため、ピークメモリを制限する。

デコード最適化:CPU同期とKV帯域幅への対応

Lilyはsimdgroupsを使った行並列GEMVを採用し、ダブルコマンドバッファと永続的なトークンスロットによりGPU上でトークンハンドオフを維持、トークンごとのCPU同期を排除。1デコードステップで795のカーネルを起動し、実際のデータ依存関係に基づく並行Metalパスで555のシリアルステージを置き換える。4つのチェーンを融合し、KVキャッシュ読み取りを統合、GQAパッキングにより各KV行を1回ロードして4つのクエリヘッドで再利用、32Kコンテキストで23.8%向上。長文脈注意の切り替えにより、32Kで+7.7%、64Kで+27.4%、128Kで+40.2%の高速化を実現。

トレードオフとハードウェア限界の記録

投機的デコードは18%遅くなった。検証時に2~5行を処理する形状が本ハードウェアでは非効率であり、行間で選択された専門家が重み読み取りを増加させたためである。GPU起動数の削減、全ステージオーバーラップ、より大きなプリフィルタイル、より広い融合、高速化されたルーティング、出力プロジェクションとトークン選択の統合などは、エンドツーエンドの改善に至らなかった。MoE GEMMとGEMVは、それぞれのアクセスパターンにおける最速の持続的重み読み取りレートの97.9%と90.3%を達成。スパースGEMVから算術演算を除去してもスループットの変化はわずか0.2%であり、重み読み取りがボトルネックであることを示している。

Lilyはオープンソース化され、Macのハイブリッドコンピューティングを強化

PerplexityはLilyをオープンソース化し、新たに導入されたMacアプリのハイブリッドコンピューティング機能を支えると発表した。GitHubでコードが公開されており、このリリースによりLilyはMac Apple Siliconデバイス向けのローカルサービング層として位置づけられる。

Source posts