i14 Labs、O(1)推論を実現するSugar Glider LLMアーキテクチャを発表

i14 Labsは、極めて高いメモリと計算効率でフロンティア性能を実現する新しいLLMアーキテクチャファミリー「Sugar Glider」を発表した。約1兆パラメータまでテスト済み。このアーキテクチャはトークンあたりO(1)の推論と固定サイズのKVキャッシュを提供し、10億トークンで100%のシングルニードル検索を達成し、100万トークンでサーバーあたり最大32倍のリクエストを実現する。早期アクセスはウェイトリストで利用可能。
イベントのバージョン 1.
Key insights
フロンティア規模での効率性
Sugar Gliderは、フロンティア性能を維持しながら、極めて高いメモリと計算効率の新しいパレートフロンティアを実現し、約1兆パラメータまでテスト済み。
定コスト推論
このアーキテクチャは、コンテキストが増大してもトークンあたりO(1)の推論と固定サイズのKVキャッシュを提供する。
10億トークン検索結果
Sugar Gliderは、10億トークンのコンテキストで100%のシングルニードル検索と90.5%のマルチキー検索を達成した。
100万トークンでの提供利得
100万トークンで、i14はベースラインモデルと比較してサーバーあたり最大32倍のリクエストを報告し、メモリサイズは再トレーニングなしでデプロイ時に選択可能。
オープンウェイトモデルの変換
いくつかの強力で人気のあるオープンウェイトモデルがO(1)推論と固定メモリに変換され、各変換はわずか数時間で完了した。