TypeSafe AI、Jev System Oneモデルを発表

ChatGPTの共同発明者であるDiogo Almeida氏が設立したTypeSafe AIは、テキスト生成を行わず、調整された信頼度で型付けされた判断を返すモデル「Jev」を発表した。応答時間は70~500ミリ秒、入力トークン100万あたり0.042ドル(出力は無料)で、早期アクセスが可能。
Key insights
Jev、AIをテキスト生成ではなく型付き判断関数として再定義
元OpenAI研究者で、ChatGPTおよびGPT-4論文の共著者であり、InstructGPTやRLHFに携わったDiogo Almeida氏が設立したTypeSafe AIは、同社が「System Oneモデル」と呼ぶ新カテゴリーの最初のモデルとしてJevを発表した。この名称は、カーネマンの『ファスト&スロー』における高速で直感的なモードに由来する。Jevにはテキスト生成機能がなく、非構造化入力を受け取り、調整された確率を伴う型安全な構造化結果を返す。コード内で分類、スコアリング、ルーティング、抽出、分岐を行う知的判断関数として位置づけられている。TypeSafeは、出力構造がアーキテクチャレベルで制約されているため、型エラーは数学的に不可能であり、幻覚(ハルシネーション)は存在しないと主張する。Almeida氏は2年間、非公開でJevを開発し、RLCD(Reinforcement Learning for Calibrated Decisions)と呼ばれる訓練手法を用いた。
速度とコストの主張:20~200倍高速、40~400倍低コスト
TypeSafeは、Jevが同等の知能を持つフロンティアLLMと比較して20~200倍高速で、40~400倍低コストであると主張する。応答時間は70~500ミリ秒で、主流のフロンティアモデルの3~329秒に対抗する。価格は入力トークン100万あたり0.042ドル(10億トークンあたり約42ドル)で、出力トークンは無料。これらの数値はTypeSafe独自のWorkflow Evalsに基づいており、GPT-6 AstraとAnthropicのFable 5.1の平均結果を参照回答として使用している。同社はこの方法論がそれらのモデルに有利であるため、Jevの相対的な性能は過小評価されている可能性があり、193倍や444倍といった極端な倍率は最良のケースを表すと認めている。速度の向上は、トークンごとではなくすべての出力を一度に計算する並列サンプリングによるもので、RNNを駆逐した並列対直列の論理と同じである。
RLCDの主張:人間を喜ばせることが幻覚の根源
発売の1カ月前に行われた「なぜRLCDがRLHFに勝るのか」と題した基調講演で、CEOのDiogo Almeida氏は、報酬モデルにはGANのような非対称性があると主張した。モデルの自信の欠如は容易に検出され罰せられるため、モデルは不確かなパターンを捨てて自信を偽装することを学習し、幻覚は嗜好最適化の固有の産物となる。LLMが知らない場合、喜ばせる文字列をでっち上げなければならない。例えば、基調講演でおならの効果音をアンビエント音楽と称賛したジョークのようなものだ。Jevはその可能性を完全に排除する。自由なテキストを生成できず、60%確信といった調整された信頼度のみを表明する。基調講演では、既存のLLMは信頼度を尋ねられたときに過信で一貫性がなく、それはまさにRLHFが教えたことだと付け加えた。
調整された信頼度が人間によるレビューをオプションのスイッチに変える
基調講演の核心的な製品ロジックは、モデルが95%の確率で正しく、残りの5%のときを教えてくれるなら、タスクを自動化できるというものだ。Jevでは開発者がしきい値を設定できるため、高信頼度の判断は自律的に実行され、低信頼度の判断は人間にエスカレーションされる。これにより、人間は強制的な修正者からオプションのスイッチへと移行する。各出力には、TypeSafeが「認識論的に正直な確率」と呼ぶものが付与される。デモンストレーションには、Jev駆動のボットがDOOMをリアルタイムでプレイし、毎秒約10回の呼び出しで1時間あたり約7ドルという例や、WikiracingのデモでJevが数百のリンクから選択しながら、ステップ数と速度の両方でLLMの非推論モードを上回った例が含まれる。
Claude Code時代の真逆として位置づけ
基調講演では、Claude Codeを含む現在のコーディングエージェントは依然として支援時代に属し、RLHFで訓練されていると位置づけ、純粋なRLVR製品はまったく異なるものになると主張した。Jevはさらに進んで、APIの形状そのものを再構築する。構造化されたプログラム状態を入力とし、型付けされた判断を出力とし、メッセージストリームを置き換える。Jevは人間の言い回しに従うように最適化されたことがないため、基調講演では、エージェントの能力と従順さの間の緊張はそのフレームワークでは生じないと述べている。ミッションステートメント「AIにはソフトウェアが依存できるインターフェースが必要」は、「ジャストインタイムのソフトウェアではなく、よりスマートなソフトウェア」のエンジニアリング版として提示されている。
ターゲット市場:ソフトウェアパイプラインにおけるインテリジェントなif文
TypeSafeはJevを、手書きのルールでは脆すぎ、LLMでは遅すぎる、高すぎる、または信頼性が低すぎるタスク向けに位置づけている。分類、ルーティング、スコアリング、抽出、分岐、ガードなど、同社はこれらを「インテリジェントなif文」と呼ぶ。具体的なシナリオとしては、チーム、緊急度、感情によるサポートチケットのルーティング、大量のドキュメントに対するタグ付けやフィールド抽出、レコメンデーションや動的価格設定、100ミリ秒のレイテンシでのゲームAIなどのリアルタイム用途、そしてJevがLLMの出力を安全性、フォーマット準拠、脱獄の有無についてチェックするガードレール(幻覚を起こさず極めて高速に応答するため)などがある。Jevはエンドユーザー製品ではなく開発者向けコンポーネントであり、AIによる表現ではなくAIによる判断の必要性を解決する。その名称はジェヴォンズのパラドックスに敬意を表している。判断コストが一桁下がると、ユースケースはそれ以上に増大するという考えだ。
CEOのコーディングエージェントに関するエッセイ、KVキャッシュ駆動設計に疑問
別のエッセイで、TypeSafeのCEOは反実仮想を提示した。LLMにKVキャッシュがなかったら、コーディングエージェントをどのように設計するか?多くの標準的なエージェント機能は、ユーザー価値ではなく、キャッシュの分離とトークン単位の課金に対するパッチであると主張した。彼は、コンテキストが長い場合、より単純なステップをSonnetにルーティングしてOpusに戻す方が、最初からOpusを使い続けるよりもコストがかかると計算した。なぜならキャッシュはモデルごとであり、セッション途中のトークンは入力価格で再請求されるからだ。また、事前のツール宣言、コンパクションによる共有状態の仮定、サブエージェントの状態引き継ぎ、再起動についても疑問を呈した。TypeSafeが提案する答えは、明示的な状態とクエリ認識型のコンテキスト再構築(メタアテンションと呼ぶ)であり、コスト認識型ルーティング、より安価なサブエージェント、段階的なツール開示、条件付きAGENTS.mdファイルを可能にする。
ビジネスの賭け:すでに収益化し、価格を引き下げ
基調講演と企業ブログは、この戦略を、単位知能の価格競争ではなく、新しいタスク空間への賭けとして位置づけている。改訂された「苦い教訓」は、データや計算量よりもタスクの選択が重要であると主張する。Jevは知能を再構築するのではなく、事前学習済みモデルの知能を調整された判断にパイプライン化し、System Oneタスクにおいてフロンティアレベルの知能を2桁優れた速度とコストで実現できると主張する。同社は、出力トークンは課金するには安すぎるため無料とし、すでに収益化していると述べ、さらなる価格引き下げを約束している。判断あたりのコストが下がるにつれて知能の総消費量が増加すると予想しており、モデル名の由来となったジェヴォンズのパラドックスを反映している。