colibri、統合メモリストリーミングにより10GB未満のRAMでCPU上でMoEモデルをローカル実行

colibriは、GPU、RAM、ディスクを統合プールとして扱い、必要に応じてディスクからウェイトをストリーミングすることで、大規模なMoEモデルをローカルで実行可能にする。純粋なC言語で書かれ、依存関係がゼロで、GitHubのスター数は25,000を超える。35B(Qwen3.6)から2.8Tパラメータ(Kimi K3)までの6つのモデルファミリーをサポートし、各モデルは単一のCファイルとして提供される。デモでは、int4量子化により744B GLM-5.2を10GB未満のRAMでCPU上で動作させた。内蔵のWebダッシュボードは、19,456の専門家にわたるリアルタイムのルーティングを可視化する。