Jev AI代理框架以结构化状态重新定义API

由ChatGPT合著者Diogo Almeida创立的TypeSafe AI发布了Jev,这是一种名为“System One”的新型AI模型类别,它输出带有校准概率的结构化决策,而非生成文本。该模型专为软件中快速、可靠的决策设计,响应时间为70-500毫秒,定价为每百万输入令牌0.042美元(输出免费)。
Key insights
Jev摒弃文本生成,采用类型安全的结构化输出
Jev不生成自由文本,而是输出带有校准置信分数的预定义结构化结果。由于输出结构在架构层面受到约束,类型错误在数学上不可能发生,从而完全消除了幻觉。该模型采用并行采样而非自回归令牌生成,实现70-500毫秒的响应时间。
采用RLCD而非RLHF进行训练
Jev使用TypeSafe AI开发的新方法——强化学习校准决策(RLCD)进行训练。创始人Diogo Almeida曾合著InstructGPT和GPT-4,他认为RLHF会导致模型学会取悦人类,从而牺牲可靠性。RLCD生成的模型对其不确定性“认知诚实”,为每个决策提供校准概率。
性能:比前沿LLM快20-200倍,便宜40-400倍
根据TypeSafe的工作流评估,在决策任务上,Jev比前沿LLM(GPT-6 Astra和Claude Fable 5.1)快20-200倍,便宜40-400倍。输入令牌价格为每百万令牌0.042美元,输出令牌免费。速度优势来自并行采样,成本优势来自模型的专门架构。
用例:智能if语句、分类、路由、护栏
Jev专为软件系统需要快速可靠AI决策的场景设计:分类、评分、路由、提取、分支和护栏。它可作为代码中的“智能if语句”。例如,实时游戏AI(DOOM演示约10次调用/秒,约7美元/小时)和维基百科竞速。它还可作为护栏,检查LLM输出的安全性和格式合规性。
经济逻辑:杰文斯悖论推动使用量增长
名称“Jev”参考杰文斯悖论:随着资源成本下降,总消耗量增加。TypeSafe赌定,让AI决策极其廉价将导致使用量爆炸式增长。该公司声称已实现盈利,并计划继续降价。
SGLang课程:动手构建推理引擎的实践课程
Datawhale和RadixArk(SGLang)联合发布了一门开源课程,从头构建迷你sglang。课程涵盖LLM推理概念、KV缓存动手实现、连续批处理、分页注意力和RadixAttention,并逐步推进到实际SGLang代码库的贡献。课程包含编程伦理章节,强调性能分析和基于证据的改进。