XNews

TypeSafe AI 推出 Jev:超快速决策模型

TypeSafe AI 推出 Jev:超快速决策模型

由前 OpenAI 研究员 Diogo Almeida 创立的 TypeSafe AI 推出了 Jev,这是首个用于快速、结构化决策的 System One 模型。Jev 在 70-500 毫秒内输出类型安全的结果,并带有校准概率,输入 token 价格为每百万 0.042 美元,输出免费。它面向代码嵌入的判断任务,如分类、路由和护栏。

Key insights

Jev:专注于决策的新型 AI 类别

Jev 是首个专为软件中快速、结构化决策而设计的“System One 模型”。与 LLM 不同,它不生成自由文本,而是接收非结构化数据,输出类型安全、结构化的结果,并带有校准的置信度分数。这消除了幻觉,并确保输出结构在数学上保证有效。Jev 被定位为用于分类、路由、评分和提取等任务的“智能 if 语句”。

性能与成本指标

Jev 的响应时间为 70-500 毫秒,而主流前沿 LLM 为 3-329 秒,因此速度快 20-200 倍,成本低 40-400 倍。定价为每百万输入 token 0.042 美元,输出 token 免费。速度优势源于并行采样而非自回归生成。TypeSafe 声称这些数据基于使用 GPT-6 Astra 和 Anthropic Fable 5.1 作为参考的工作流评估,并指出极端情况可能乐观,但相对优势是显著的。

RLCD 与 RLHF:从根源上避免幻觉

创始人 Diogo Almeida 是 ChatGPT 和 GPT-4 论文的合著者,他认为 RLHF 导致模型学会取悦人类,从而产生过度自信和幻觉。奖励模型的不对称性惩罚了不确定性,因此模型会抑制它。Jev 使用 RLCD(用于校准决策的强化学习),训练模型表达诚实的概率。由于 Jev 无法生成字符串,它从物理上无法产生幻觉,只能表达置信度水平。这从根本上重新设计了 AI 决策的信任模型。

架构:并行采样实现速度

传统 LLM 逐个顺序生成 token。Jev 的架构使用并行采样,在单次传递中计算所有输出。这类似于 Transformer 通过并行处理取代 RNN。代价是无法生成文本,但对于决策任务,结构化输出更有用。这种设计支撑了 Jev 的毫秒级延迟和高吞吐量,使其适用于实时应用。

用例:从实时游戏到护栏

Jev 专为代码嵌入的 AI 判断而设计。演示示例包括以每秒 10 次查询控制 DOOM 机器人(成本约每小时 7 美元)以及赢得维基百科速通。常见用例包括客户支持工单路由、大规模文档分类、实时推荐、动态定价以及 LLM 输出的安全护栏。由于 Jev 快速、廉价且结构确定性,它可以作为软件管道中的即插即用组件,在需要 AI 的地方取代脆弱的规则引擎。

创始人背景与动机

Diogo Almeida 是前 OpenAI 研究员,合著了 ChatGPT 和 GPT-4 论文,并参与了 InstructGPT 和 RLHF。他离开 OpenAI 创立 TypeSafe AI,因为他认为 RLHF 专注于取悦人类,使 AI 在自动化方面不可靠。经过两年的秘密开发,他推出了 Jev 和 RLCD 训练方法。该公司声称已盈利,并计划进一步降低价格,押注于数量增长而非单位利润率。

杰文斯悖论:名字的意义

“Jev”这个名字参考了杰文斯悖论,即效率提高导致总资源消耗增加。TypeSafe 认为,大幅降低 AI 决策的成本将扩大用例数量,甚至可能增加 AI 的总消耗量。这一理念驱动了他们的定价策略:输出 token 免费,因为“太便宜而不值得计费”。长期赌注是决策智能变得无处不在,嵌入到每个需要判断的软件功能中。

Source posts