TypeSafe AI、テキスト生成を行わないSystem Oneモデル「Jev」を発表

ChatGPTの共著者によって設立されたTypeSafe AIは、テキストを生成する代わりに、調整された確率を伴う構造化された判断を出力する「System One」と呼ばれる新カテゴリのAIモデル「Jev」を発表した。Jevはソフトウェアにおける高速かつ低コストの意思決定向けに設計されており、応答時間は70~500ミリ秒、入力価格は100万トークンあたり0.042ドルで、出力トークンは無料である。
Key insights
Jevのコアデザイン:テキスト生成なし、構造化判断のみ
Jevは幻覚を避けるためにテキスト生成を完全に放棄している。事前定義された構造化結果に信頼度スコアを付けて出力し、型エラーを数学的に不可能にする。この設計は、RLHFがモデルに自信を偽装させる一方で、JevのRLCDトレーニング手法がキャリブレーションされた判断を生み出すという洞察に基づいている。モデルは分類、ルーティング、スコアリング、抽出などのタスク向けに最適化されており、コード内で「インテリジェントなif文」として機能する。
パフォーマンスとコストの利点
Jevは70~500ミリ秒の応答時間を実現し、主要なLLMと比較して20~200倍高速で、40~400倍低コストである(入力は100万トークンあたり0.042ドル、出力は無料)。この速度は、自己回帰的なトークン生成ではなく並列サンプリングによるものである。トレードオフとして、Jevは自由なテキストを生成できないが、高速で信頼性の高い構造化判断を必要とするシナリオで優れている。
対象ユースケースとデモンストレーション
Jevは、コードにAI判断を組み込む開発者向けに設計されている。ワークフローにおけるインテリジェントな分岐、大規模データ処理、リアルタイムアプリケーション、LLM出力のガードレールなどである。デモンストレーションには、毎秒10クエリ(1時間あたり7ドル)でDOOMボットを制御する例や、Wikipediaレースが含まれる。TypeSafeはまた、ウェブページでのセマンティックCtrl+Fや、セマンティック検索のためのPostgreSQL関数などの統合も示した。