TypeSafe AI、非テキスト意思決定モデル「Jev」を発表

ChatGPTの共同発明者であるDiogo Almeida氏が率いるTypeSafe AIは、テキストを生成せずに型安全な意思決定と調整された信頼度を返すモデル「Jev」を発表した。Jevは70~500ミリ秒で応答し、入力トークン100万件あたり0.042ドル。ルーティング、分類、ガードレールなど、LLMでは遅すぎる用途を対象とする。
Key insights
Jev、ソフトウェア内部の意思決定向け初の「システムワン」モデルとして登場
TypeSafe AIは、OpenAIでInstructGPTやRLHFに携わり、ChatGPTおよびGPT-4の論文を共同執筆したDiogo Almeida氏が設立した企業で、カーネマンの高速で自動的な認知にちなんで名付けられた「システムワンモデル」という新たなモデルカテゴリーを発表し、その第一弾としてJevを投入した。Jevはテキスト生成を完全に放棄し、非構造化データを入力として、型安全な構造化結果を出力し、それぞれに調整された信頼度スコアが付与される。分類、スコアリング、ルーティング、抽出、分岐、ガードといったタスクにおいて、手書きルールは脆すぎ、LLMは遅すぎる、高コスト、または信頼性に欠ける場合の「インテリジェントif文」として位置づけられている。Jevは早期アクセスウェイトリストを通じて利用可能。
速度と価格の主張には、自ら認めるベンチマーク上の注意点あり
Jevの応答時間は70~500ミリ秒で、最先端LLMの3~329秒に対し、TypeSafeは同等の知能を持つ大規模モデルと比較して20~200倍高速で、40~400倍低コストだと主張する。入力トークンは100万件あたり0.042ドル(10億件あたり約42ドル)、出力トークンは無料。これらの数値はTypeSafe独自の「Workflow Evals」に基づいており、GPT-6 AstraとAnthropicのFable 5.1の平均を参照回答としている。同社は、この手法自体がOpenAIとAnthropicのモデルに有利であり、Jevの相対的な性能を過小評価する可能性があること、また193倍や444倍といった極端な倍率は最良のケースであり、すべてのシナリオを代表するものではないことを認めている。
並列サンプリングアーキテクチャにより幻覚を構造的に排除
速度はアーキテクチャに起因する。LLMはトークンを逐次生成するのに対し、Jevは並列サンプリングを用いてすべての出力を一度に計算する。これはTransformerがRNNを置き換えたのと同じ並列対逐次の論理である。代償として、Jevはテキストをまったく生成できない。出力は事前定義された意思決定構造のみで、各回答には「60%の確信」といった信頼度スコアが付与される。出力構造がアーキテクチャレベルで制約されているため、型エラーは数学的に不可能であり、同社は幻覚は存在しないと述べている。Jevは心地よい文字列を捏造する能力がなく、自身の確信度を述べることしかできない。
RLCDの主張:人間を喜ばせることが幻覚の根源
発売の1カ月前に行われた基調講演「Jev Creator: Why RLCD beats RLHF」で、Almeida氏は報酬モデルにはGANのような非対称性があると論じた。モデルの確信度の低さは容易に検出され罰せられるため、モデルは不確かなパターンを落とし、確信を偽ることを学習し、幻覚は選好最適化の固有の産物となる。Jevの答えはRLCD(調整された意思決定のための強化学習)であり、自由なテキストを生成することは決してない。基調講演の中核的な製品ロジックは「モデルが95%の確率で正しく、その5%のケースを教えてくれるなら、このタスクは自動化できる」というもの。開発者は閾値を設定し、高確信度の意思決定は自律的に実行し、低確信度のものはエスカレーションさせる。これにより、ヒューマン・イン・ザ・ループは強制的なエラー修正からオプションのスイッチへと変わる。
APIはメッセージストリームではなく構造化プログラム状態を中心に再設計
基調講演では、Jevを現在のコーディングアシスタント時代と明確に対比し、Claude Codeは依然としてRLHFに基づく支援時代に属し、純粋なRLVRシステムは大きく異なるものになると論じた。Jevはさらに進んでAPIの形式自体を再構築する。構造化プログラム状態を入力し、型付きの意思決定を出力することで、メッセージストリームを置き換える。講演ではまた、エージェントが能力を高めるにつれて従順さが低下し、従順にすると能力が弱まるという最適化の綱引きを指摘。Jevのフレームワークでは、人間の指示に従うように最適化されたことがないため、その緊張は存在しない。
価格設定と命名はジェヴォンズのパラドックスによる需要爆発に賭ける
Jevの名称はウィリアム・スタンリー・ジェヴォンズに由来する。蒸気機関の効率が向上すると、石炭の総消費量は減少せず増加した。TypeSafeは同じ経済原理を知能に適用する。意思決定あたりのコストが一桁下がるごとに、それを消費するユースケースの人口が拡大する。これは、これらのタスクはほぼゼロコストで繰り返し実行できるほど単純であるという基調講演のラインと一致する。同社はサットンの「苦い教訓」を「データや計算よりもタスクの選択が重要」と修正し、ブログ「The Bitterest Lesson」でそれを反映させ、出力トークンは「課金するには安すぎる」として無料とし、収益性を主張し、ミッションを「AIにはソフトウェアが依存できるインターフェースが必要」と述べている。
デモと4つのユースケースファミリーはレイテンシが重要な判断を対象
発表資料では、JevがDOOMボットを毎秒約10クエリ、1時間あたり約7ドルで制御するデモや、Wikiracingタスク(リンクをたどってある記事から目標記事にジャンプする)で、LLMの非推論モードよりもステップ数と速度の両方で勝ることを示した。投稿ではアプリケーションを4つのファミリーに分類している。数十ミリ秒でチーム、緊急度、感情によるサポートチケットのトリアリングなど、インテリジェントなワークフロー分岐。数億レコードを対象としたバルク文書分類、タグ付け、抽出。レコメンデーション、動的価格設定、ゲームAIなど100ミリ秒のレイテンシを必要とするリアルタイム用途。そして、Jevの速度と幻覚のない設計を活用した、出力の安全性、フォーマット、ジェイルブレイクをチェックするLLMガードレール。