XNews

TypeSafe AI 推出 Jev,用于快速决策的 System One 模型

TypeSafe AI 推出 Jev,用于快速决策的 System One 模型

TypeSafe AI 由 ChatGPT 联合发明人 Diogo Almeida 创立,推出了 Jev——一种 System One 模型,它不生成文本,而是做出快速、校准的决策。Jev 在 70-500 毫秒内输出带有置信度分数的结构化结果,每百万输入标记成本为 0.042 美元,输出免费,并使用 RLCD 训练来消除幻觉。它专为软件集成而设计,可作为分类、路由和提取任务的智能 if 语句。

Key insights

Jev:一种用于决策而非文本生成的新型 AI 模型类别

TypeSafe AI 发布了首个 System One 模型 Jev,该模型完全放弃了文本生成。相反,它接收非结构化数据,并输出带有校准概率的类型安全结构化结果。该模型专为软件系统中的快速、可靠决策而设计,例如分类、评分、路由和提取。它不能写文章或聊天,但可以在代码中充当智能 if 语句。

与传统 LLM 相比的速度和成本优势

Jev 的响应时间为 70-500 毫秒,而前沿 LLM 为 3-329 秒。输入标记价格为每百万标记 0.042 美元(每十亿标记 42 美元),输出标记免费。TypeSafe 声称,基于使用 GPT-6 Astra 和 Fable 5.1 作为参考的工作流评估,Jev 比同等智能的 LLM 快 20-200 倍,便宜 40-400 倍。极快的速度来自并行采样,即一次性生成所有输出,而不是逐标记生成。

RLCD 训练消除幻觉并确保校准置信度

Jev 使用 RLCD(用于校准决策的强化学习)进行训练,该方法是创始人 Diogo Almeida 开发的。与鼓励模型取悦人类从而产生幻觉的 RLHF 不同,RLCD 训练模型仅输出具有真实概率的预定义结构。由于架构约束,类型错误在数学上是不可能的。该模型无法生成自由文本,因此不会产生幻觉;它只能表达置信水平,例如“我有 60% 的把握”。

用例:智能 if 语句、护栏、实时应用

Jev 定位于需要智能判断但不需要人类可读响应的代码流程场景。主要用例包括:工作流中的智能分支(例如工单路由、紧急程度评估)、大规模数据处理(分类、提取)、实时应用(游戏 AI、动态定价)以及 LLM 输出的护栏(安全检查、格式验证)。DOOM 演示展示了 Jev 以每秒约 10 次查询的速度控制游戏机器人,成本约为每小时 7 美元。

基于杰文斯悖论的定价哲学

该模型以威廉·斯坦利·杰文斯的名字命名,暗指杰文斯悖论,即效率提高导致总消费量增加。TypeSafe 押注,让 AI 决策变得极其廉价将导致使用量激增。输出标记免费,该公司声称已经盈利,并将继续降价。目标是让 AI 决策变得如此廉价,以至于它们在软件中无处不在,取代脆弱的规则引擎。

创始人的背景与对 RLHF 范式的背离

Diogo Almeida 在 OpenAI 合著了 ChatGPT 和 GPT-4 论文,期间他从事 InstructGPT 和 RLHF 相关工作。他离开后创建 Jev,因为他认为 RLHF 通过教会模型取悦人类,使模型在自动化方面不可靠。他在 aiDotEngineer 的演讲中阐述了奖励模型如何制造类似 GAN 的不对称性,迫使模型假装自信。Jev 的 RLCD 直接解决了这个问题,它不优化人类认可,而是优化校准决策。

Source posts