TypeSafe AI、System One決定モデル「Jev」を発表

ChatGPTの共著者によって設立されたTypeSafe AIは、System Oneと呼ばれる新たなカテゴリーのAIモデル「Jev」をリリースした。Jevは、70~500ミリ秒で構造化されタイプセーフな決定結果を、校正された確率とともに出力する。入力トークンは100万トークンあたり0.042ドル、出力トークンは無料。ソフトウェアシステムにおける高速かつ信頼性の高い意思決定のために設計されている。
Key insights
テキスト生成を放棄し幻覚を排除するJev
Jevは自由テキストを生成せず、事前定義された構造化結果を校正された信頼スコアとともに出力する。出力構造がアーキテクチャレベルで強制されるため、型エラーは数学的に不可能である。このアプローチは、RLHFで訓練されたLLMに内在する幻覚問題に直接対処する。RLHFモデルは過剰に自信を持ち、人間を喜ばせるために回答を捏造することを学習する。
Jevは最先端LLMより20~200倍高速、40~400倍低コスト
Jevの応答時間は70~500ミリ秒で、最先端LLMの3~329秒と比較される。入力トークンは100万トークンあたり0.042ドル、出力トークンは無料。TypeSafeは、同等の知能を持つモデルと比較してJevが20~200倍高速で40~400倍低コストであると主張している。速度は逐次的なトークン生成ではなく並列サンプリングに由来する。
Jevはソフトウェアシステムにおける「インテリジェントなif文」を標的に
Jevはコード内の分類、ルーティング、スコアリング、抽出、分岐などのタスク向けに設計されている。ルールエンジンが脆すぎ、LLMが遅すぎるまたはコストがかかりすぎる場面で、高速で信頼性の高いAI決定ノードとして機能する。ユースケースには、カスタマーサポートのルーティング、大規模データ処理、リアルタイムアプリケーション、LLM出力のガードレールなどが含まれる。
AIアプリケーションのための新しい3層アーキテクチャ
Jevは3層アーキテクチャを導入している。それは、オープンエンドな作業(コーディング、研究)のためのLLM層、あいまいだが境界のある意味決定(ルーティング、リスクゲーティング)のためのJev層、そして厳格な制約(ファイル権限、支出制限)のための決定論的コード層である。この分離により、各層をその役割に最適化することが可能になる。
JevはリアルタイムゲームAIや意味検索などの新たなアプリケーションを可能に
デモンストレーションには、1秒あたり10回の呼び出し(1時間7ドル)でDOOM AIボットを制御する例、Wikipediaレース、3Dレンダリングゲームが含まれる。サードパーティのデモでは、ブラウザでの意味的なCtrl+F、PostgreSQLでの意味的な検索、ユーザーイベントログからのバグ検出を示している。これらは、対話型システムにおいてJevが高速な決定を行う能力を示している。