TypeSafe AI、システムワン意思決定モデル「Jev」を発表

TypeSafe AIは、テキストではなく構造化されキャリブレーションされた結果を出力するシステムワン意思決定モデル「Jev」を発表した。Jevは最先端のLLMと比較して20~200倍高速で、40~400倍低コストであり、応答時間は70~500ミリ秒。RLCDトレーニングにより幻覚や型エラーを排除し、ソフトウェアパイプラインにおける分類、ルーティング、スコアリングなどのユースケースを対象としている。
Key insights
Jev:意思決定のための新たなAIモデルカテゴリー
TypeSafe AIは、テキスト生成ではなく高速で構造化された意思決定のために設計された初のシステムワンモデル「Jev」を発表した。非構造化データを入力し、キャリブレーションされた確率を伴う型安全な構造化結果を出力する。Jevは自由なテキストを生成できないため、設計上、幻覚や型エラーを排除している。自己回帰型トークン生成ではなく並列サンプリングを採用し、応答時間は70~500ミリ秒を実現する。
最先端LLMに対する性能とコストの優位性
TypeSafeのワークフロー評価(GPT-6 AstraおよびAnthropic Fable 5.1を参照)によると、Jevは意思決定タスクにおいて最先端のLLMよりも20~200倍高速で、40~400倍低コストである。入力トークン価格は100万トークンあたり0.042ドル(10億トークンあたり42ドル)、出力トークンは無料。高速性は並列サンプリングによるもので、低コストはテキスト生成がないことに起因する。同社は収益を上げており、さらなる価格引き下げを計画している。
RLCDトレーニング手法がRLHFの限界に対処
Jevは、InstructGPTとRLHFの共著者である創業者Diogo Almeidaが開発したRLCD(Reinforcement Learning for Calibrated Decisions)を用いてトレーニングされている。Almeidaは、RLHFは人間を喜ばせることを学習するため、モデルが過信し幻覚を起こす原因になると主張した。RLCDはモデルにキャリブレーションされた確率を出力させ、不確実性について「認識論的に正直」であるように訓練する。これによりJevは、自信がある場合と人間にエスカレーションすべき場合を開発者に伝えることができる。
ユースケース:インテリジェントなif文とその先
Jevは、ソフトウェアシステムが迅速かつ信頼性の高い意思決定を必要とするシナリオ(分類、ルーティング、スコアリング、抽出、分岐、ガードレール)向けに設計されている。これは、脆弱なルールエンジンや高価なLLM呼び出しを置き換える「インテリジェントなif文」として機能する。具体的な用途としては、カスタマーサービスのチケットルーティング、大規模データラベリング、リアルタイムレコメンデーション、ゲームAI、LLM出力の安全性とフォーマット準拠をチェックするガードレールなどがある。
デモンストレーションがリアルタイム性能を示す
TypeSafeは2つのリアルタイムシナリオでJevを実演した。DOOMでは、Jevが毎秒約10回の呼び出しでAIボットを制御し、コストは1時間あたり約7ドルだった。Wikiracing(あるWikipedia記事から別の記事へリンクをたどるゲーム)では、Jevは非推論型LLMよりもステップ数と速度の両方で優れた性能を示した。これらのデモは、インタラクティブな環境でJevが迅速かつ反復的な意思決定を行う能力を示している。
ジェヴォンズのパラドックスに基づく経済モデル
「Jev」という名称は、効率向上が総消費量の増加につながるジェヴォンズのパラドックスに由来する。TypeSafeは、意思決定あたりのコストを大幅に下げることで、AIによる意思決定の総数が爆発的に増加すると確信している。同社の価格戦略(出力無料、入力低価格)はこの哲学を反映している。創業者Diogo Almeidaは、鍵はデータや計算能力だけでなくタスク選択であり、Jevはほぼ無料で繰り返せるほど単純なタスクを対象としていると述べている。
LLMを補完するものであり、代替ではない
JevはChatGPTやClaudeのような会話型AIを置き換えることを意図していない。むしろ、ソフトウェアシステム内で高速で信頼性の高い構造化された意思決定を提供するというギャップを埋めるものである。Jevは、推論やテキスト生成を必要とする「システムツー」タスクではなく、高速で直感的な「システムワン」タスクに最適である。開発者はJevをLLMと併用し、Jevが迅速な意思決定を、LLMが複雑な対話を担当することができる。