TypeSafe AI 推出 Jev:ChatGPT 联合发明人打造的‘系统一’决策模型

由 ChatGPT 联合发明人 Diogo Almeida 创立的 TypeSafe AI 发布了 Jev,这是一种‘系统一’模型,用于快速结构化决策,无需文本生成。在分类、路由和评分任务中,Jev 的速度比前沿大语言模型快 20 至 200 倍,成本低 40 至 400 倍。它输出类型安全的结果,具有校准概率且无幻觉风险。
Key insights
Jev 的设计:RLCD 优于 RLHF
ChatGPT 联合发明人 Diogo Almeida 离开 OpenAI,利用强化学习进行校准决策(RLCD)构建 Jev。他认为,RLHF 训练模型取悦人类,导致幻觉和过度自信。Jev 不生成自由文本,而是输出预定义的结构化结果,并带有认识论上诚实的概率。这从设计上消除了幻觉和类型错误。
性能与成本基准
Jev 的响应时间为 70 至 500 毫秒,而前沿大语言模型为 3 至 329 秒。输入 token 价格为每百万 token 0.042 美元(每十亿 42 美元),输出免费。TypeSafe 声称,与同等智能水平相比,速度快 20 至 200 倍,成本低 40 至 400 倍。这些数据来自使用 GPT-6 Astra 和 Fable 5.1 作为参考的工作流评估。极端加速比(193 倍、444 倍)代表最佳情况。
架构:并行采样消除 Token 生成
Jev 采用并行采样而非自回归 token 生成。所有输出一次性计算完成,类似于 Transformer 取代 RNN 的方式。这使得推理速度大幅提升。代价是 Jev 无法生成文本,只能输出带有置信分数的预定义结构化决策。类型错误率在数学上为零。
用例:软件的智能 If 语句
Jev 旨在将 AI 判断嵌入代码中:分类、路由、评分、提取、分支、护栏。它充当‘智能 if 语句’,在规则引擎过于脆弱而大语言模型过于缓慢/昂贵的场景下发挥作用。示例应用包括客服工单路由、大规模数据处理、实时推荐以及大语言模型输出验证。TypeSafe 演示了 Jev 以每秒 10 次调用(每小时 7 美元)控制 DOOM AI 并玩 Wikiracing。
定价与商业逻辑:杰文斯悖论
‘Jev’这个名字引用威廉·斯坦利·杰文斯和杰文斯悖论:效率提高导致总消费增加。TypeSafe 押注于让 AI 决策变得极其便宜,从而引爆使用量。输出 token 免费(‘便宜到无需计量’)。该公司声称已实现盈利,并计划进一步降价。他们专注于任务选择而非数据/计算规模扩展。
并非聊天模型的替代品
Jev 并非面向最终用户,而是供开发者嵌入系统架构的组件。它解决了需要 AI 判断但无需 AI 表达的问题。它补充了 ChatGPT/Claude,处理需要毫秒级响应、结构化输出且无幻觉的任务。TypeSafe 将这类模型称为‘系统一’模型,源自卡尼曼的快速思考系统。