XNews

TypeSafe AI 推出 Jev:一种用于快速决策的系统一模型

TypeSafe AI 推出 Jev:一种用于快速决策的系统一模型

由 ChatGPT 合著者创立的 TypeSafe AI 推出了 Jev,这是一种专为快速、结构化决策设计的系统一模型。Jev 不生成文本,而是输出带有校准概率的键入结果,响应时间在 70-500 毫秒之间,成本比领先的大语言模型低 40-400 倍。

Key insights

Jev 的独特架构

Jev 是一种名为“系统一”的新型 AI 模型,完全放弃了文本生成。相反,它输出结构化、类型安全的结果,并带有校准概率。该模型使用并行采样而非自回归令牌生成,允许所有输出同时计算。由于输出结构在架构层面受到约束,类型错误在数学上不可能发生。由于模型无法生成自由文本,幻觉被消除。

性能与成本优势

Jev 的响应时间在 70 到 500 毫秒之间,而领先的前沿大语言模型则为 3 到 329 秒。输入令牌价格为每百万令牌 0.042 美元(每十亿令牌 42 美元),输出令牌免费。TypeSafe 声称,与同等智能水平的模型相比,Jev 快 20 到 200 倍,便宜 40 到 400 倍。这些数据来自内部工作流评估,以 GPT-6 Astra 和 Fable 5.1 为参考;极端加速比(193 倍、444 倍)代表最佳情况。

RLCD 训练方法

Jev 使用一种名为 RLCD(用于校准决策的强化学习)的新方法进行训练,该方法由 TypeSafe 首席执行官 Diogo Almeida 开发,他曾是 OpenAI 研究员,参与过 InstructGPT 和 RLHF。Almeida 认为,RLHF 天生会产生过度自信和不一致性,因为模型学会丢弃不确定的模式以取悦奖励模型。而 RLCD 则训练模型提供认知上诚实的概率,使开发者能够设置自主执行与人工升级的置信度阈值。

实际应用场景

Jev 专为软件工作流中的“智能条件语句”而设计。用例包括客户服务中的智能路由(分类工单、评估紧急程度、检测情绪)、大规模数据处理(分类数百万文档、提取结构化字段)、实时应用(推荐、动态定价、游戏 AI)以及大语言模型输出的护栏(检查安全性、格式合规性、越狱尝试)。Jev 不是对话模型的替代品,而是将 AI 决策嵌入代码的组件。

演示与实际应用

TypeSafe 通过两个著名演示展示了 Jev。在《毁灭战士》中,Jev 实时控制 AI 机器人,每秒约进行 10 次调用,成本约为每小时 7 美元。在维基百科竞速中,Jev 从一篇文章导航到另一篇,在数百个链接中进行选择,在非推理模式下,步骤数和速度均优于大语言模型。这些演示说明了 Jev 处理高频、低延迟决策任务的能力。

哲学与经济逻辑

“Jev”这个名字参考了杰文斯悖论,即资源效率的提高会导致总消耗量增加。TypeSafe 押注,大幅降低 AI 决策成本将导致使用量激增。该公司已实现盈利,并计划继续降价。“系统一”概念源自丹尼尔·卡尼曼的《思考,快与慢》,代表快速、直觉、自动化的思维。TypeSafe 的使命是让 AI 成为软件可以依赖的接口,这与基于 RLHF 的模型(优化以取悦人类)形成对比。

开发者对智能体设计的见解

TypeSafe 首席执行官 Diogo Almeida 分享了他对编码智能体的看法,认为许多标准功能是对 KV 缓存和按令牌定价限制的变通方法。他主张显式状态管理和每次查询的动态上下文重建,他称之为“元注意力”。这种方法支持成本感知路由、高效子智能体和可扩展工具集成。他建议,最大的效率提升在于用结构化检索取代子智能体搜索,因为在一项分析中,读取和搜索占工具调用的 56.2%。

Source posts