TypeSafe AI、高速判断を実現する「System One」モデルJevを発表
ChatGPT共同発明者であるDiogo Almeidaが創業したTypeSafe AIは、新たなカテゴリーのAIモデル「System One」であるJevを発表した。Jevはテキスト生成を廃し、コード内での高速かつ校正された判断を実現。応答時間は70~500ミリ秒で、最先端LLMと比較して20~200倍のコスト削減を実現する。
Key insights
モデル設計とトレーニング
Jevは、ダニエル・カーネマンの思考に着想を得た、高速かつ直感的な判断のために設計された「System One」モデルである。RLCD(校正された判断のための強化学習)と呼ばれる新しいトレーニング手法を採用。LLMとは異なり、Jevはテキストではなく、校正された確率を伴う構造化された結果を出力する。テキスト生成はできないが、アーキテクチャにより型安全な構造化結果を出力し、型エラーはゼロである。
パフォーマンスとコスト
Jevは70~500ミリ秒の応答時間を達成し、最先端LLMより20~200倍高速。入力トークン価格は100万トークンあたり0.042ドルで、出力は無料。逐次的なトークン生成ではなく並列サンプリングを採用。同社は同等のインテリジェンスモデルと比較して40~400倍安価であると主張しているが、極端な高速化は最良のケースである。
ユースケースとアプリケーション
Jevはコード内の「スマートif文」、すなわち分類、スコアリング、ルーティング、抽出のために設計されている。ユースケースとしては、カスタマーサービスのインテリジェントな分岐、大規模データ処理、リアルタイムアプリケーション(ゲームAI、動的価格設定)、LLM出力のガードレールなどがある。DOOMデモでは毎秒約10回呼び出すことができ、コストは1時間あたり約7ドルである。
LLMとの比較
JevはChatGPTやClaudeのような会話型モデルの代替ではない。ミリ秒単位の応答と構造化出力が求められるコード内にAIの判断を埋め込むためのギャップを埋める。モデルのアーキテクチャはハルシネーションを排除し、型安全性を保証する。ウェイトリスト経由で早期アクセスが可能である。