XNews

TypeSafe AI 推出 Jev:用于快速结构化决策的 System One 模型

TypeSafe AI 推出 Jev:用于快速结构化决策的 System One 模型

由前 OpenAI 研究员 Diogo Almeida 创立的 TypeSafe AI 发布了 Jev,这是一种名为 System One 的新型 AI 模型。Jev 输出带有校准概率的预定义结构化结果,而非自由文本,响应时间在 70-500 毫秒之间,输入 token 成本为每百万个 0.042 美元,输出 token 免费。该模型旨在作为“智能 if 语句”集成到软件中,用于分类、路由和提取任务。

Key insights

Jev 放弃文本生成以消除幻觉

Jev 不生成自由文本,而是输出具有认知诚实概率的预定义结构化决策。这种设计消除了幻觉,因为模型无法产生任意字符串。TypeSafe 首席执行官 Diogo Almeida 认为,RLHF 通过奖励模型取悦人类而固有地产生幻觉,而 Jev 的方法通过将输出限制为类型安全结构来规避这一问题。

相较于前沿 LLM 的极致速度与成本优势

Jev 的响应时间为 70-500 毫秒,而前沿 LLM 为 3-329 秒。输入 token 价格为每百万个 0.042 美元,输出 token 免费。TypeSafe 声称,与同等智能水平的模型相比,Jev 速度快 20-200 倍,成本低 40-400 倍。这些数据来自使用 GPT-6 Astra 和 Fable 5.1 作为参考的工作流评估,但需注意极端倍数代表最佳情况。

并行采样实现速度,但牺牲文本生成能力

Jev 采用并行采样,一次性计算所有输出,这与自回归 LLM 逐个生成 token 的方式不同。这种架构差异类似于 Transformer 取代 RNN。代价是 Jev 无法生成文本,只能输出预定义的结构化结果。由于输出结构在架构层面强制执行,类型错误率在数学上为零。

目标用例:软件中的智能 if 语句

Jev 旨在将 AI 决策嵌入代码工作流:分类、路由、评分、提取、分支和护栏。它作为“智能 if 语句”用于规则引擎过于脆弱、LLM 过于缓慢或昂贵的任务。示例演示包括实时 DOOM AI(每秒 10 次调用,约每小时 7 美元)和维基百科竞速,在速度和步骤上均优于非推理型 LLM。

RLCD 训练方法取代 RLHF 以实现校准决策

Jev 使用 TypeSafe 开发的新方法 RLCD(用于校准决策的强化学习)进行训练。与 Almeida 认为会产生过度自信且不一致置信分数的 RLHF 不同,RLCD 训练模型输出良好校准的概率。开发者可以设置置信度阈值:高置信度决策自动执行,低置信度决策升级至人工审核。

Jev 得名于杰文斯悖论:效率驱动需求

“Jev”这一名称参考了威廉·斯坦利·杰文斯,他观察到蒸汽机效率提升导致煤炭消耗增加。TypeSafe 押注降低 AI 决策成本将大幅扩展使用规模。该公司已实现盈利,并计划继续降价,输出 token 免费,输入 token 廉价。其经济逻辑是,更便宜的每次决策智能将解锁新的应用场景。

开发者演示展示实际集成案例

第三方演示包括网页中的语义搜索(带含义的 Ctrl+F)、用于语义检索的 PostgreSQL 函数(例如“寻找可以远程工作的人”),以及分析数百万用户事件日志以识别错误并生成拉取请求。这些案例展示了 Jev 作为现有系统中结构化决策的即插即用组件的潜力。

Source posts