XNews

Jev AIエージェントAPIの再設計と早期アクセス

Jev AIエージェントAPIの再設計と早期アクセス

TypeSafe AIは、ソフトウェアの意思決定向けの「System One」モデル「Jev」を発表した。遅延時間は70~500ミリ秒、価格は100万トークンあたり0.042ドル。テキストではなく校正済み確率を出力し、分類、ルーティング、抽出向けに設計されている。別途、DatawhaleとRadixArkは、SGLang推論エンジンの開発をゼロから学べるオープンソースコースを公開した。

Key insights

Jev:高速で構造化された意思決定のための新たなモデルカテゴリ

Jevはテキスト生成を完全に放棄し、非構造化データから校正済み信頼度スコアを伴う型安全な構造化出力を生成することに特化している。応答遅延は70~500ミリ秒で、大規模フロンティアモデルの3~329秒と比較される。入力トークン価格は100万トークンあたり0.042ドル(出力は無料)。TypeSafeは、同等の知能と比較して20~200倍の高速化と40~400倍のコスト削減を主張している。

校正済み意思決定のためのRLCD学習手法

創業者Diogo Almeida氏(以前はOpenAIでInstructGPTとRLHFに従事)は、人間を喜ばせるためではなく、自動化のための信頼性をモデルに持たせるためにRLCD(校正済み意思決定のための強化学習)を開発した。Jevは自己回帰生成ではなく並列サンプリングを使用し、テキストを生成しない代わりにすべての出力を同時に計算する。アーキテクチャ上の制約により、型エラー率は数学的にゼロである。

主なユースケース:スマートif文、ガードレール、リアルタイムアプリケーション

Jevは「インテリジェントif文」としてコードに組み込むために設計されており、分類、スコアリング、ルーティング、抽出に使用される。具体的なシナリオとしては、カスタマーサービスにおけるスマート分岐、大規模データ処理、リアルタイムアプリケーション(DOOM AIは1時間あたり7ドル)、およびLLM出力の安全性と形式をチェックするガードレールなどがある。会話型モデルの代替ではない。

SGLangオープンソースコース:推論エンジンをゼロから学ぶ

DatawhaleとRadixArk(SGLangチーム)は4部構成のコースを公開した。パート0(倫理、デプロイ)、パートI(プリフィル/デコード、計算バウンド対メモリバウンド、Rooflineモデルなどの概念)、パートII(10章にわたるミニSGLangの手作り実装)、パートIII(SGLangコア開発者による高度な最適化)、パートIV(プロファイリング、PRワークフロー)。目標は学習者をSGLangのコントリビューターにすることである。

コースはコーディング倫理とエンジニアリング実践を重視

このコースには、AIスラップ(質の低い貢献)や履歴書目的のオープンソース活動を戒める独自の倫理章が含まれている。パフォーマンスPRにはプロファイリング証拠の添付が求められる。技術的内容は珍しく、ほとんどのチュートリアルは「自分でコードを書く」ステップを省略している。プロジェクトはsgl-project/mini-sglangにリファレンス実装を提供している。

Source posts