XNews

TypeSafe AI、Jev「System One」意思決定モデルを発表

TypeSafe AI、Jev「System One」意思決定モデルを発表

ChatGPT共同発明者であるDiogo Almeidaが創業したTypeSafe AIは、テキストではなく型安全な構造化された意思決定を出力するJevを搭載したSystem Oneモデルを発表した。Jevは70〜500ミリ秒で応答し、20〜200倍の速度と40〜400倍のコスト優位性を主張。入力価格は100万トークンあたり0.042ドル。早期アクセスはウェイトリストを通じて公開中。

Key insights

コード内意思決定向けの新たなモデルカテゴリ

ChatGPTの共同発明者であり、InstructGPT、ChatGPT、GPT-4の論文を共著し、OpenAIでRLHFに携わったDiogo Almeidaが創業したTypeSafe AIは、最初のモデルJevを搭載したSystem Oneモデルカテゴリを正式に発表した。Jevはテキスト生成を完全に放棄し、ソフトウェア内部での迅速な意思決定のために設計されている。非構造化入力を受け取り、調整された確率スコア付きの型安全な構造化結果を返す。同社はこれを、手書きのルールでは脆すぎ、大規模言語モデルでは遅すぎ、コストがかかりすぎ、または予測不可能な、分類、ルーティング、スコアリング、抽出、分岐、ガードレールタスクのためのインテリジェントなif文として位置づけている。

2桁の速度とコストの主張

Jevは70〜500ミリ秒で応答し、フロンティアモデルの3〜329秒よりも1〜2桁高速である。TypeSafeは、同等の知能で20〜200倍の速度と40〜400倍の低コストを主張する。入力価格は100万トークンあたり0.042ドル(10億トークンあたり約42ドル)で、出力トークンは無料。速度は、逐次的なトークン生成ではなく、すべての出力を同時に計算する並列サンプリングによるもので、同社はこのアーキテクチャの転換をTransformerがRNNを置き換えたことに例えている。TypeSafeは、GPT-6 AstraおよびFable 5.1の平均に対してベンチマークされた自社のWorkflow Evalsがそれらのモデルに有利であること、また193倍や444倍といった極端な倍率は最良のケースを表していることを認めている。

RLCD訓練により構造的に幻覚を除去

AlmeidaはOpenAIを離れ、RLCD(Reinforcement Learning for Calibrated Decisions)と呼ばれる新しい訓練手法でJevを構築するのに2年間を費やした。彼の基調講演では、RLHFはモデルに人間を喜ばせることを教え、報酬モデルはGANのような非対称性を生み出し、モデルの不確実性が罰せられるため、モデルは不確実なパターンを落とし、自信を偽装することを学習し、幻覚が嗜好最適化の本質的な産物になると主張した。Jevは自由テキストを生成しないことでこれを回避する。出力構造と値は事前定義され、型エラーは数学的に不可能であり、各出力は認識論的に正直な確率を伴う。これにより、高信頼の結果は自律的に実行し、低信頼の結果は人間にエスカレーションする信頼度しきい値が可能となる。

組み込み可能なコンポーネントとしての開発者向けポジショニング

TypeSafeはJevを消費者向け製品ではなく開発者向けコンポーネントとして位置づけ、AIの表現力を伴わないAI判断のニーズを解決する。具体的なユースケースとしては、チケットトリアージ、緊急度スコアリング、感情分類などのワークフローにおけるインテリジェントな分岐、数百万から数十億レコード規模の大規模文書分類、タグ付け、フィールド抽出、レコメンデーション、動的価格設定、ゲームAI、インタラクティブ製品などの100ミリ秒未満のレイテンシ予算内でのリアルタイムアプリケーション、そして大規模モデル出力の安全性、フォーマット準拠、ジェイルブレイク防止のためのガードレールチェックが挙げられる。Jevは現在、ウェイトリストを通じて早期アクセスが可能である。

デモはレイテンシ制約のあるAIワークロードを対象

2つのデモンストレーションが設計目標を示している。Jev駆動のボットが古典的なゲームDOOMをリアルタイムで、毎秒約10回の呼び出しで、1時間あたり約7ドルでプレイする。これはフロンティアモデルでは持続できない呼び出しレートである。また、リンクごとのナビゲーションを必要とするWikipediaレーシングタスクでは、Jevが大規模モデルの非推論モードをステップ数と速度の両方でリードする。System Oneの名称はカーネマンの速い直感的思考モードに由来し、Jevはジェボンズのパラドックスに言及しており、各AI判断のコストを桁違いに削減することで総利用量がさらに拡大するという賭けである。

基調講演の経済学はほぼ無料の再利用に賭ける

発表の基調講演では、Jevの異例の価格設定の背後にある製品論理が説明された。TypeSafeは、データや計算よりもタスク選択が重要であり、事前訓練された知能を再構築するのではなく調整された意思決定にルーティングできること、そしてAIがソフトウェア記述を自動化しているにもかかわらず、ソフトウェア自体は2019年から変わっていないと主張した。出力トークンは課金するには安すぎるとして価格設定され、同社はすでに収益を上げており、さらなる値下げを計画していると述べ、その使命はソフトウェアが依存できるインターフェースを提供することであるとしている。ジェボンズの枠組みは、意思決定あたりのコストが1桁下がるごとに、実行可能なユースケースの数がさらに倍増するという考え方である。

Source posts