XNews

TypeSafe AI、高速構造化意思決定のためのSystem Oneモデル「Jev」を発表

TypeSafe AI、高速構造化意思決定のためのSystem Oneモデル「Jev」を発表

元OpenAI研究者のDiogo Almeidaが設立したTypeSafe AIは、新しいカテゴリーのAIモデル「System One」であるJevをリリースした。Jevは自由形式のテキストではなく、調整された確率を持つ型付き構造化結果を出力する。応答時間は70~500ミリ秒で、入力トークン100万あたり0.042ドル、出力は無料である。分類、ルーティング、抽出タスクのための「インテリジェントif文」としてソフトウェア統合向けに設計されている。

Key insights

Jev、テキスト生成を放棄し幻覚を排除

Jevは自由形式のテキストを生成せず、認識論的に正直な確率で事前定義された構造化意思決定を出力する。この設計は、モデルが任意の文字列を生成できないため、幻覚を排除する。TypeSafeのCEOであるDiogo Almeidaは、RLHFは人間を喜ばせるためにモデルに報酬を与えることで本質的に幻覚を生み出すと主張し、Jevのアプローチは出力を型安全な構造に制限することでそれを回避していると述べた。

最先端LLMに対する極めて高い速度とコスト優位性

Jevの応答時間は70~500ミリ秒で、最先端LLMの3~329秒と比較される。入力トークン価格は100万トークンあたり0.042ドルで、出力トークンは無料である。TypeSafeは、Jevは同等の知能を持つモデルよりも20~200倍高速で、40~400倍安価であると主張している。これらの数値は、GPT-6 AstraとFable 5.1を参照としたワークフロー評価に基づいており、極端な倍数は最良のシナリオを表すという注意事項がある。

並列サンプリングが速度を実現、テキスト生成を犠牲に

Jevは並列サンプリングを使用し、すべての出力を一度に計算する。これはトークンを逐次的に生成する自己回帰型LLMとは異なる。このアーキテクチャ上の違いは、TransformerがRNNを置き換えた方法と類似している。トレードオフとして、Jevはテキストを生成できず、事前定義された構造化結果のみを出力する。出力構造がアーキテクチャレベルで強制されるため、型エラー率は数学的にゼロである。

ターゲットユースケース:ソフトウェアにおけるインテリジェントif文

Jevは、分類、ルーティング、スコアリング、抽出、分岐、ガードレールといったコードワークフローにAI意思決定を組み込むために設計されている。ルールエンジンが脆すぎ、LLMが遅すぎるまたは高すぎるタスクにおいて、『インテリジェントif文』として機能する。デモ例としては、リアルタイムのDOOM AI(1秒あたり10コール、約7ドル/時間)やWikipediaレースがあり、非推論型LLMを速度とステップ数で上回っている。

RLCDトレーニング手法がRLHFに代わり較正された意思決定を実現

Jevは、TypeSafeが開発した新しい手法であるRLCD(Reinforcement Learning for Calibrated Decisions)を使用してトレーニングされた。Almeidaが過信で一貫性のない信頼度スコアを生み出すと主張するRLHFとは異なり、RLCDはモデルが適切に較正された確率を出力するようにトレーニングする。開発者は信頼度の閾値を設定でき、高信頼度の意思決定は自律的に実行され、低信頼度のものは人間のレビューにエスカレーションされる。

Jev、ジェヴォンズのパラドックスにちなんで命名:効率が需要を促進

「Jev」という名前は、蒸気機関の効率向上が石炭消費の増加につながると観察したWilliam Stanley Jevonsに由来する。TypeSafeは、AI意思決定のコストを下げることで利用が大幅に拡大すると見込んでいる。同社はすでに収益を上げており、出力トークンを無料、入力トークンを安価に維持しながら、価格をさらに下げる計画である。経済的論理は、意思決定あたりの知能コストが安くなれば、新たなアプリケーションが開かれるというものである。

開発者デモが実用的な統合を示す

サードパーティのデモには、ウェブページ内の意味検索(意味を持つCtrl+F)、意味検索のためのPostgreSQL関数(例:「リモートワークができる人を見つける」)、数百万のユーザーイベントログを分析してバグを特定しプルリクエストを生成するなどがある。これらは、既存システムにおける構造化意思決定のためのドロップインコンポーネントとしてのJevの可能性を示している。

Source posts