Jev AI代理框架:具备结构化状态

TypeSafe AI发布了Jev,这是一种新型的“系统一”AI模型,专为软件内部的快速、结构化决策而设计。Jev完全摒弃了文本生成,输出类型安全的结果,并带有校准概率。其响应时间为70-500毫秒,输入令牌成本为每百万个0.042美元,输出免费,并声称比同类LLM快20-200倍,便宜40-400倍。
Key insights
无文本生成意味着无幻觉
Jev的架构通过从不生成自由文本来防止幻觉。输出结构和值都是预定义的,使得类型错误在数学上不可能发生。每个输出都包含一个认识论上诚实的概率。这解决了RLHF引发的问题,即模型学会丢弃不确定模式并假装自信。
RLCD取代RLHF实现校准决策
创始人Diogo Almeida是ChatGPT和GPT-4论文的合著者,他花了两年时间使用一种名为“用于校准决策的强化学习”(RLCD)的新训练方法构建Jev。该方法优化决策校准而非取悦人类的行为,使模型能够表达不确定性。
并行采样实现速度大幅提升
Jev采用并行采样,所有输出同时计算,而LLM则逐令牌生成。这类似于Transformer用并行性取代RNN。响应时间范围为70-500毫秒,而主流前沿模型为3-329秒。使用GPT-6 Astra和Fable 5.1作为参考答案的工作流评估显示,性能提升20-200倍。
智能if语句:目标用例
Jev针对代码中的智能分支:分类、路由、评分、提取和护栏。用例包括客户服务工单路由、大规模数据处理(每十亿令牌42美元,输出免费)、需要亚100毫秒决策的实时应用,以及作为LLM输出的快速安全检查层。演示展示了DOOM AI控制,每秒10次调用(约7美元/小时)。
杰文斯悖论:名称反映经济学
Jev以威廉·斯坦利·杰文斯命名,其悖论认为效率提升会增加总消费量。该公司押注,使AI决策成本几乎免费将导致使用量激增。他们将输出令牌定价为零,声称盈利,并计划继续降价。
开源课程:从零开始学习SGLang
Datawhale和RadixArk推出了一个协作式开源课程,从零开始构建一个迷你SGLang。第三部分(注意力后端、量化、分层缓存、PD分离)和第四部分(性能分析、PR工作流)由SGLang官方成员撰写。该课程旨在将学习者转变为SGLang贡献者,涵盖从KV Cache到连续批处理等概念。
SGLang课程强调编码伦理
该课程包含一个独特的编码伦理章节,反对AI垃圾贡献:贡献者必须理解代码为何有效,性能分析必须先行,性能PR需要前后对比及可复现的命令。项目明确表示不欢迎开源简历刷屏。