Jev AIエージェントフレームワーク、構造化状態を実現

TypeSafe AIは、ソフトウェア内での高速で構造化された意思決定を目的とした、新しいカテゴリーの「System One」AIモデルであるJevを発表しました。Jevはテキスト生成を完全に廃止し、校正された確率を備えた型安全な結果を出力します。応答時間は70〜500ミリ秒、コストは入力トークン100万件あたり0.042ドル(出力は無料)で、同等のLLMと比較して20〜200倍高速で、40〜400倍安価であると主張しています。
Key insights
テキスト生成なし=幻覚なし
Jevのアーキテクチャは、自由なテキストを生成しないことで幻覚を防ぎます。出力構造と値は事前に定義されており、型エラーは数学的に不可能です。各出力には、認識論的に正直な確率が含まれます。これにより、モデルが不確かなパターンを破棄し、偽りの自信を示すことを学習するRLHF起因の問題に対処します。
RLCDがRLHFに取って代わり、校正された決定を実現
創業者のDiogo Almeida氏は、ChatGPTおよびGPT-4論文の共著者であり、RLCD(校正された決定のための強化学習)と呼ばれる新しいトレーニング手法を使用して、2年間かけてJevを構築しました。このアプローチは、人間を喜ばせる行動ではなく、決定の校正を最適化し、モデルが不確かな場合にそれを表明できるようにします。
並列サンプリングによる劇的な速度向上
Jevは、LLMがトークンを順次生成するのとは異なり、すべての出力を一度に計算する並列サンプリングを採用しています。これは、TransformerがRNNを並列処理に置き換えた方法に似ています。応答時間は70〜500ミリ秒で、主流のフロンティアモデルの3〜329秒とは対照的です。GPT-6 AstraとFable 5.1を参照回答として使用したワークフロー評価では、20〜200倍高速なパフォーマンスが示されています。
スマートなif文:ターゲットユースケース
Jevは、コード内のインテリジェントな分岐(分類、ルーティング、スコアリング、抽出、ガードレール)を対象としています。ユースケースには、カスタマーサービスのチケットルーティング、大規模データ処理(出力無料で10億トークンあたり42ドル)、100ミリ秒未満の決定を必要とするリアルタイムアプリケーション、LLM出力の迅速な安全チェックレイヤーなどがあります。デモでは、DOOM AI制御を毎秒10コール(約7ドル/時間)で実行しました。
ジェボンズのパラドックス:名前は経済学を反映
Jevという名前は、効率向上が総消費量を増加させるというパラドックスを持つウィリアム・スタンレー・ジェボンズに由来しています。同社は、AI決定コストをほぼ無料にすることで使用量が爆発的に増加すると賭けています。出力トークンをゼロ価格に設定し、収益性を主張し、今後も価格引き下げを継続する計画です。
オープンソースコース:ゼロからSGLangを学ぶ
DatawhaleとRadixArkは、ゼロからミニSGLangを構築するための共同オープンソースコースを開始しました。パートIII(アテンションバックエンド、量子化、レイヤーキャッシュ、PD分離)とパートIV(プロファイリング、PRワークフロー)は、公式のSGLangメンバーによって執筆されています。このコースは、学習者をSGLangコントリビューターに変えることを目的としており、KVキャッシュから連続バッチ処理までの概念をカバーしています。
SGLangコースはコーディング倫理を重視
このコースには、AIスロップ貢献に反対する独自のコーディング倫理の章が含まれています。貢献者はコードが機能する理由を理解し、プロファイリングを最優先し、パフォーマンスPRには再現可能なコマンドによる前後の比較が必要です。プロジェクトは、オープンソースの履歴書の水増しを歓迎しないと明示しています。