XNews

TypeSafe AI推出Jev System One模型用于快速决策

TypeSafe AI推出Jev System One模型用于快速决策

TypeSafe AI发布了Jev,一款用于快速决策的System One模型。它能在70-500毫秒内输出结构化结果,并附带校准后的置信度,速度比前沿大语言模型快20-200倍。输入成本为每百万token 0.042美元,输出免费。该模型无法生成自由文本,从而消除了幻觉问题。

Key insights

Jev采用并行采样实现毫秒级决策速度

与自回归大语言模型不同,Jev采用并行采样一次性计算所有输出,实现70-500毫秒的响应时间。其速度比GPT-6 Astra和Claude Fable 5.1等前沿模型快20-200倍,成本优势则达到40-400倍。

Jev通过不生成自由文本消除幻觉

Jev仅输出预定义的结构化类型及其关联的置信度分数。由于架构限制,类型错误在数学上不可能发生。这一设计是对RLHF强行提升模型置信度(导致幻觉)倾向的回应。Jev只能表达校准后的概率。

新的RLCD训练专注于校准决策

Jev采用TypeSafe首席执行官Diogo Almeida开发的RLCD(校准决策强化学习)方法进行训练。与RLHF不同,RLCD并非优化人类认可度,而是追求准确且校准良好的决策。这直接解决了导致大语言模型过度自信的奖励模型不对称问题。

Jev专为分类、路由、评分和提取任务设计

该模型旨在取代脆弱的规则引擎或昂贵的大语言模型,用于意图分类、文档标注、实时推荐和护栏验证等任务。它可以作为判断函数嵌入代码流水线。演示案例包括以每秒10次查询(每小时7美元)控制DOOM机器人,以及维基百科竞速。

免费输出token与低输入成本旨在推动大规模使用

Jev每百万输入token收费0.042美元,输出免费。这一定价反映了杰文斯悖论:决策成本下降,使用量成倍增长。TypeSafe声称已实现盈利,并计划进一步降价。这与按token计费的大语言模型形成对比。

Jev并非编程智能体;CEO批评当前智能体设计

TypeSafe首席执行官认为,许多编程智能体的功能是为应对KV缓存限制而采取的变通方法。Jev并非编程智能体,但可作为组件使用。他提出了一种以TypeSafe为中心的智能体设计,包含显式状态管理和动态上下文重建,可降低成本并改善路由。

Jev处于早期访问阶段,可通过候补名单获取

该模型以早期访问形式发布。开发者可加入候补名单。目前尚未完全公开。

Source posts