TypeSafe AI 推出 Jev:实现快速校准决策的“系统一”模型

由 ChatGPT 共同发明人 Diogo Almeida 创立的 TypeSafe AI 发布了 Jev,这是一款“系统一”模型,能够输出带有校准概率的结构化决策,而非生成文本。Jev 的响应时间为 70-500 毫秒,每百万输入标记成本为 0.042 美元,输出免费,适用于软件系统中的分类、路由和评分等任务。
Key insights
Jev 的核心差异:不生成文本,提供校准置信度
Jev 不生成自由文本,而是输出带有“认知诚实”概率的预定义结构化结果。这消除了幻觉,因为模型无法捏造字符串。每个输出都包含置信度分数,使开发者能够设定自主执行或人工升级的阈值。该架构采用并行采样而非自回归标记生成,从而实现 70-500 毫秒的响应时间。
相较于前沿大语言模型的速度与成本优势
根据 TypeSafe 以 GPT-6 Astra 和 Fable 5.1 为参照的工作流评估,Jev 比同等智能的大语言模型快 20-200 倍,便宜 40-400 倍。输入标记价格为每百万 0.042 美元,输出免费。速度优势源于并行采样:所有输出同时计算,而非自回归模型逐次生成。成本优势因杰文斯悖论而放大:更便宜的决策导致更广泛的使用。
RLCD 训练与 RLHF 对比:解决奖励模型不对称问题
TypeSafe 首席执行官 Diogo Almeida 解释道,RLHF 造成了类似 GAN 的不对称性,模型的不确定性受到惩罚,迫使模型假装自信并产生幻觉。Jev 采用一种名为 RLCD(面向校准决策的强化学习)的新训练方法,通过不优化以取悦人类来避免这一问题。该模型被训练为输出校准概率,而非生成令人愉悦的文本。
应用场景:软件中的智能 if 语句
Jev 被定位为软件中的“智能 if 语句”:分类、路由、评分、提取、分支和防护。示例包括实时 DOOM 人工智能(每秒 10 次查询,约每小时 7 美元)、维基百科竞速以及大语言模型输出安全检测。它不面向最终用户,而是面向在系统架构中嵌入 AI 决策的开发者,替代脆弱的规则引擎或昂贵的大语言模型调用。
CEO 对 KV 缓存与智能体设计的批评
在另一项分析中,Diogo Almeida 认为许多标准智能体功能都是为了绕过 KV 缓存限制和按标记定价而打的补丁。他提出了一种“以 TypeSafe 为中心”的设计,具有显式状态和每次查询的动态上下文重建,从而实现成本感知路由、子智能体和条件技能。这一理念支撑着 Jev 的架构:无 KV 缓存,无自回归生成。