XNews

TypeSafe AI、高速意思決定のための「Jev:System Oneモデル」を発表

TypeSafe AI、高速意思決定のための「Jev:System Oneモデル」を発表

ChatGPTの共著者であるDiogo Almeidaが創業したTypeSafe AIは、迅速な意思決定のための新しいAIモデルクラス「Jev」を発表した。Jevは、調整された確率を伴う構造化された結果を出力し、LLMと比較して20~200倍高速で、40~400倍低コストである。自由なテキストを生成できないため幻覚(ハルシネーション)を排除し、コード内で「スマートif文」を必要とする開発者を対象としている。

Key insights

製品概要と主要仕様

Jevは、テキスト生成ではなく高速で構造化された意思決定のために設計された「System One」モデルである。調整された信頼度スコアを伴う、事前定義された構造化結果を出力する。応答時間は70~500ミリ秒で、最先端LLMの3~329秒と比較される。入力トークン価格は100万トークンあたり0.042ドル(10億トークンあたり42ドル)で、出力トークンは無料である。TypeSafeは、Jevは同等の知能を持つLLMよりも20~200倍高速で、40~400倍低コストであると主張している。

アーキテクチャ:並列サンプリングがトークン単位の生成を排除

Jevは、トークンを逐次的に生成するLLMとは異なり、すべての出力を一度に計算する並列サンプリングを使用する。このアーキテクチャ上の違いは、TransformerがRNNを置き換えたことに類似している。トレードオフとして、Jevは自由なテキストを生成できず、型安全な構造化結果のみを出力する。アーキテクチャレベルの制約により型エラーは数学的に不可能であり、モデルが任意の文字列を生成できないため幻覚は排除される。

トレーニング手法:RLHFではなくRLCD

Jevは、TypeSafeのCEOであるDiogo Almeidaが開発したRLCD(調整された意思決定のための強化学習)を使用してトレーニングされる。彼は、RLHFはモデルに人間を喜ばせることを学習させ、過信や幻覚を引き起こすと主張する。RLCDは「認識論的に正直な」確率を出力するモデルを生み出す。モデルは、喜ばせる文字列をでっち上げるのではなく、「私は60%の確信がある」と言うことができる。これにより、Jevは信頼性が重要な自動化に適している。

ターゲットユースケース:コード内のスマートif文

Jevは、開発者がコード内にAI判断ノード(分類、ルーティング、スコアリング、抽出、分岐、ガードレール)を埋め込むために設計されている。ChatGPTやClaudeの代替ではなく、LLMが遅すぎる、高すぎる、または信頼性が低い場合のギャップを埋める。応用例としては、カスタマーサービスのインテリジェントルーティング、大規模データ分類、リアルタイムレコメンデーション、LLM出力の安全性と形式をチェックするガードレールとしての役割などがある。

デモンストレーション:DOOM AIとWikipediaレーシング

TypeSafeは、JevがDOOMゲームのAIを制御し、毎秒約10回の呼び出しを約7ドル/時間で行うことを実演した。別のデモでは、Wikipediaレーシング(リンクをたどってある記事から別の記事へ移動する)を示し、Jevは非推論モードでステップ数と速度の両方においてLLMを上回った。これらのデモは、リアルタイム環境で高速かつ反復的な意思決定を行うJevの能力を示している。

価格設定の哲学:ジェヴォンズのパラドックス

「Jev」という名前は、ウィリアム・スタンリー・ジェヴォンズとジェヴォンズのパラドックス(資源の効率が向上すると総消費量が増加する)に由来する。TypeSafeは、AIによる意思決定を極めて低コストにすることで、使用量の爆発的な増加が起こると賭けている。出力トークンは「計測するには安すぎる」ため無料である。同社は収益を上げており、さらなる価格引き下げを計画しており、単位あたりの知能で競争するのではなく、タスク空間の拡大に注力している。

Source posts