TypeSafe AI、高速かつ較正された意思決定を可能にする「システム1」モデル「Jev」を発表

ChatGPTの共同発明者ディオゴ・アルメイダ氏が設立したTypeSafe AIは、テキストを生成する代わりに較正された確率とともに構造化された意思決定を出力する「システム1」モデル「Jev」をリリースした。Jevは70〜500ミリ秒で応答し、入力トークン100万個あたり0.042ドル(出力は無料)という料金設定で、ソフトウェアシステムにおける分類、ルーティング、スコアリングなどのタスク向けに設計されている。
Key insights
Jevの核心的な差別化要因:テキスト生成なし、較正された信頼度
Jevは自由形式のテキストを生成せず、「認識論的に誠実な」確率を伴う事前定義済みの構造化結果を出力する。モデルが文字列を捏造できないため、ハルシネーション(幻覚)が排除される。各出力には信頼度スコアが含まれており、開発者は自律実行または人間へのエスカレーションを判断するための閾値を設定できる。アーキテクチャには自己回帰的なトークン生成の代わりに並列サンプリングが採用されており、70〜500ミリ秒の応答時間を実現している。
最先端LLMに対する速度とコストの優位性
TypeSafeがGPT-6 AstraとFable 5.1をリファレンスとして実施したワークフロー評価によると、Jevは同等の知能を持つLLMと比較して20〜200倍高速で、40〜400倍低コストである。入力トークンの価格は100万トークンあたり0.042ドルで、出力は無料。速度の源泉は並列サンプリングであり、自己回帰型モデルとは異なり、すべての出力が一度に計算される。このコスト面の優位性はジェボンズのパラドックスによって増幅される。すなわち、意思決定が安価になるほど利用が増加するのである。
RLCD訓練とRLHFの比較:報酬モデルの非対称性への対処
TypeSafeのCEOであるディオゴ・アルメイダ氏は、RLHFではGANに似た非対称性が生じ、モデルの不確実性にペナルティが課されるため、モデルは自信を装い、ハルシネーションを起こすことを強いられると説明した。Jevは、人間を喜ばせるよう最適化しないことでこの問題を回避する、RLCD(Reinforcement Learning for Calibrated Decisions:較正された意思決定のための強化学習)と呼ばれる新しい訓練手法を採用している。同モデルは、心地よいテキストを生成するのではなく、較正された確率を出力するように訓練されている。
ユースケース:ソフトウェアにおけるスマートif文
Jevは、ソフトウェアにおける「インテリジェントなif文」として位置づけられている。用途は分類、ルーティング、スコアリング、抽出、分岐、ガードレールなど。具体例には、リアルタイムDOOM AI(毎秒10クエリ、約7ドル/時)、Wikipediaレーシング、LLM出力の安全性チェックなどがある。エンドユーザー向けではなく、システムアーキテクチャにAIの意思決定を組み込む開発者向けであり、脆いルールエンジンや高コストなLLM呼び出しを置き換えることを目的としている。
CEOによるKVキャッシュとエージェント設計への批判
別の分析の中で、ディオゴ・アルメイダ氏は、標準的なエージェント機能の多くが、KVキャッシュの制限やトークン単位の課金を回避するためのパッチにすぎないと主張した。同氏は、明示的な状態とクエリごとの動的なコンテキスト再構築を備えた「TypeSafe中心」の設計を提案しており、これによりコストを考慮したルーティング、サブエージェント、条件付きスキルが可能になるという。この哲学こそがJevのアーキテクチャの基盤である。すなわち、KVキャッシュなし、自己回帰生成なしである。