XNews

TypeSafe AI推出Jev:专为决策设计的系统一模型

TypeSafe AI推出Jev:专为决策设计的系统一模型

由ChatGPT共同发明人Diogo Almeida创立的TypeSafe AI推出了Jev,这是一个系统一模型,能够输出带有校准概率的结构化决策,而非文本。Jev在决策任务上的速度比前沿大语言模型快20-200倍,成本低40-400倍,响应时间为70-500毫秒。它采用RLCD训练,旨在作为智能if语句嵌入软件中。

Key insights

架构与速度优势

Jev采用并行采样而非自回归令牌生成,使得所有输出可以同时计算。这导致响应时间在70到500毫秒之间,而前沿大语言模型则需要3到329秒。该架构通过不生成自由文本来消除幻觉;输出是类型安全的结构化结果,并带有校准概率。由于架构限制,类型错误在数学上是不可能的。

RLCD训练与RLHF对比

Jev使用TypeSafe新开发的校准决策强化学习(RLCD)方法进行训练。创始人Diogo Almeida认为,RLHF本质上会产生幻觉,因为模型为了取悦奖励模型而学会了丢弃不确定性。RLCD通过训练进行校准决策而非取悦人类的文本来避免这一问题。模型对每个决策输出一个认识论上诚实的概率。

定价与成本效益

输入令牌价格为每百万令牌0.042美元(约每十亿令牌42美元),输出令牌免费。TypeSafe声称Jev比同等智能的大语言模型便宜40到400倍。该公司表示已经盈利,并计划继续降价。定价策略基于杰文斯悖论:随着每次决策成本的下降,总使用量将激增。

应用场景:智能if语句

Jev旨在作为快速决策组件嵌入软件中。用例包括:工作流中的智能分支(路由工单、评估紧迫性)、大规模数据处理(分类、提取)、实时应用(游戏AI、动态定价),以及大语言模型输出的护栏(安全检查、格式验证)。它并非对话模型的替代品,而是结构化决策的补充。

演示:毁灭战士与维基竞速

TypeSafe演示了Jev控制一个毁灭战士AI机器人,每秒约进行10次查询,成本约为每小时7美元。在维基竞速任务(通过链接从一个维基文章导航到另一个)中,Jev在步骤数和速度上均优于非推理型大语言模型。这些演示展示了Jev在实时环境中快速、重复决策的能力。

理念与市场定位

Jev的名字引用自杰文斯悖论,反映了更便宜的AI决策将大幅增加使用量的赌注。TypeSafe将Jev定位为一个新类别:系统一模型(快速、直观、自动),与系统二(缓慢、深思熟虑的推理)相对。公司的使命是提供一个软件可以依赖的接口,超越基于RLHF模型的局限。

Source posts