XNews

Jev:TypeSafe社の高速構造化意思決定モデル

TypeSafe AI(ChatGPTの共同発明者による共同設立)は、ソフトウェア内での迅速な構造化意思決定を目的とした初の「System One」モデル「Jev」を発表した。Jevは70~500ミリ秒で校正済みの型安全な結果を出力し、同等のLLMと比較して20~200倍高速で40~400倍低コストであり、テキストを生成しない。

Key insights

Jevは高速で信頼性の高いコード内意思決定を実現

TypeSafe AIは、ソフトウェア内での高速な構造化意思決定を目的とした「System One」と呼ばれる新カテゴリのAIモデル「Jev」を発表した。LLMとは異なり、Jevはテキストを生成せず、分類、スコアリング、ルーティング、抽出のための型安全で校正済みの結果を出力する。応答時間は70~500ミリ秒で、同等モデルと比較して20~200倍高速、40~400倍低コストであり、出力コストは発生しない。

RLCDトレーニング手法が信頼性を確保

Jevは、ChatGPTおよびGPT-4の論文の共著者であるDiogo Almeida氏が開発した新しいトレーニング手法「RLCD(Reinforcement Learning for Calibrated Decisions)」を用いて構築された。この手法は、RLHFで訓練されたモデルが信頼性に欠ける可能性がある自動化シナリオにおける信頼性問題に対処する。Jevのアーキテクチャは逐次的なトークン生成ではなく並列サンプリングを採用しており、高速性を実現している。

Jevは開発者向けの「インテリジェントif文」として機能

Jevは、開発者がシステムアーキテクチャに組み込むコンポーネントとして位置づけられており、ワークフロー内のスマート分岐、大規模データ処理、リアルタイムアプリケーション、LLM出力のガードレールなどのタスクを処理する。現在は早期アクセス版が提供されており、開発者向けのウェイトリストが用意されている。

Source posts