Jev AIエージェントフレームワーク、構造化状態でAPIを再定義

ChatGPTの共著者であるDiogo Almeida氏が設立したTypeSafe AIは、新しいAIモデルカテゴリー「System One」であるJevをリリースした。これはテキスト生成ではなく、調整された確率を伴う構造化された判断を出力する。ソフトウェアにおける高速で信頼性の高い意思決定のために設計されており、応答時間は70~500ミリ秒、価格は入力トークン100万トークンあたり0.042ドル(出力は無料)である。
Key insights
Jev、テキスト生成を放棄し型安全な構造化出力へ
Jevは自由なテキストを生成せず、調整された信頼スコアを伴う事前定義された構造化結果を出力する。出力構造がアーキテクチャレベルで制約されているため、型エラーは数学的に不可能である。これにより、幻覚(ハルシネーション)が完全に排除される。モデルは自己回帰型トークン生成ではなく並列サンプリングを使用し、70~500ミリ秒の応答時間を実現する。
RLHFではなくRLCDで訓練
JevはTypeSafe AIが開発した新しい手法であるRLCD(Reinforcement Learning for Calibrated Decisions)を用いて訓練された。InstructGPTとGPT-4の共著者である創業者のDiogo Almeida氏は、RLHFはモデルが信頼性を犠牲にして人間を喜ばせることを学習させると主張した。RLCDは、不確実性について「認識論的に正直」であり、各判断に対して調整された確率を提供するモデルを生成する。
性能:最先端LLM比で20~200倍高速、40~400倍低コスト
TypeSafeのWorkflow Evalsによると、Jevは意思決定タスクにおいて最先端LLM(GPT-6 AstraおよびClaude Fable 5.1)と比較して20~200倍高速で、40~400倍低コストである。入力トークン価格は100万トークンあたり0.042ドルで、出力トークンは無料である。速度の優位性は並列サンプリングに由来し、コストの優位性はモデルの特化アーキテクチャに由来する。
ユースケース:インテリジェントなif文、分類、ルーティング、ガードレール
Jevは、ソフトウェアシステムが高速で信頼性の高いAI判断を必要とするシナリオ(分類、スコアリング、ルーティング、抽出、分岐、ガードレール)向けに設計されている。コード内の「スマートif文」として機能する。例としては、リアルタイムゲームAI(DOOMデモでは約10コール/秒、約7ドル/時間)やWikipediaレーシングが挙げられる。また、LLMの出力を安全性とフォーマット準拠についてチェックするガードレールとしても機能する。
経済的根拠:ジェボンズのパラドックスが利用拡大を促進
「Jev」という名称はジェボンズのパラドックスに由来する。すなわち、資源のコストが低下すると総消費量が増加するという現象である。TypeSafeは、AIによる判断を極めて低コストにすることで、利用が爆発的に増加すると見込んでいる。同社は収益を上げていると主張し、価格をさらに引き下げる計画である。
SGLangコース:推論エンジン構築のための実践カリキュラム
DatawhaleとRadixArk(SGLang)は、ゼロからミニSGLangを構築するためのオープンソースコースを共同で開始した。このコースでは、LLM推論の概念、KVキャッシュ、連続バッチ処理、ページ化アテンション、RadixAttentionの実践的な実装をカバーし、実際のSGLangコードベースへの貢献へと進む。コーディング倫理に関する章を含み、プロファイリングとエビデンスに基づくパフォーマンス改善を重視している。