TypeSafe AI 推出 Jev '系统一' 决策模型

TypeSafe AI 由一位 ChatGPT 共同发明者创立,推出了 Jev——一种系统一模型,该模型不生成文本,而是在 70-500 毫秒内做出类型安全、校准的决策。对于分类和路由等任务,其速度比前沿大语言模型快 20-200 倍,成本低 40-400 倍。
Key insights
Jev的技术创新:RLCD与无幻觉
Jev采用了一种名为RLCD(用于校准决策的强化学习)的新训练方法,避免了RLHF中偏好优化的陷阱。通过不生成自由文本,它在数学上消除了类型错误和幻觉。每个输出都包含认识论上诚实的置信度分数,使开发者能够设定自主执行或人工升级的阈值。
性能与定价:与前沿大语言模型对比
Jev的响应时间为70-500毫秒,而前沿大语言模型为3-329秒。输入令牌每百万个成本0.042美元,输出令牌免费。TypeSafe声称,根据其内部工作流评估(以GPT-6 Astra和Fable 5.1为参考),该模型比同等智能的大语言模型速度快20-200倍,成本低40-400倍。
设计理念与市场定位
Jev被设计为软件的‘智能if语句’,而非对话式AI。其架构采用并行采样而非逐令牌生成,从而实现高速。名称源自杰文斯悖论,押注于决策成本的大幅降低将带来需求的巨大增长。它针对需要快速、结构化决策的场景,如工作流分支、数据处理、实时应用和大语言模型输出防护。
实际演示:Doom与Wikiracing
TypeSafe在要求严苛的实时环境中展示了Jev的能力。在Doom演示中,Jev以每秒约10次查询的速度控制AI机器人,每小时成本约7美元。在Wikiracing中,Jev在步骤和速度上均优于非推理型大语言模型,能从数百个链接中选择路径,从一个维基百科文章导航到另一个。