XNews

TurboFieldfare、Apple Silicon MacでGemma 4 26B-A4Bを約2GBのRAMで実行

TurboFieldfare、Apple Silicon MacでGemma 4 26B-A4Bを約2GBのRAMで実行

カスタムSwiftおよびMetalランタイムであるTurboFieldfareは、命令チューニングされたGemma 4 26B-A4Bモデルを、完全な14.3GBモデルをロードする代わりに約2GBのRAMを使用して、任意のApple Silicon Mac上で実行します。1.35GBの共有コアとFP16 KVキャッシュをメモリに保持し、トークンごとに必要なエキスパートのみをSSDからストリーミングします。著者は、8GBのM2 MacBook Airで毎秒5.1~6.3トークン、24GBのM5 Proで毎秒31~35トークンを測定しました。ネイティブMacチャットアプリ、CLI、およびOpenAI互換のローカルサーバーが含まれています。

イベントのバージョン 1.

Key insights

約2GBのメモリ予算

TurboFieldfareは、完全な14.3GBモデルをメモリにロードせずにGemma 4 26B-A4Bを実行します。1.35GBの共有コアとFP16 KVキャッシュをメモリに保持し、トークンごとに必要なエキスパートのみをSSDからストリーミングします。

測定されたトークン速度

著者は、8GBのM2 MacBook Airで毎秒5.1~6.3トークン、24GBのM5 Proで毎秒31~35トークンを測定しました。

モデル固有のSwiftおよびMetalランタイム

ランタイム、ストリーミングインストーラー、CLI、およびネイティブMacアプリはSwiftとMetalで書かれています。TurboFieldfareはMLXやllama.cppのラッパーではなく、モデル固有です。

含まれるツールとローカル機能

プロジェクトには、ネイティブMacチャットアプリ、コマンドラインインターフェース、およびOpenAI互換のローカルサーバーが含まれています。チャット履歴はローカルに保存され、画像拡張パックにより画像表示が追加されます。

実験記録と初回ダウンロード

著者は、カーネル、キャッシュ、およびI/Oにわたる103の測定実験結果をまとめました。最初のモデルダウンロードは約15GBです。

Source posts