Jev AI代理API重新设计并开放早期访问

TypeSafe AI推出了Jev,这是一种用于软件决策的“系统一”模型,延迟为70-500毫秒,每百万令牌收费0.042美元。它输出校准概率而非文本,专为分类、路由和提取设计。此外,Datawhale和RadixArk发布了一门开源课程,从头教授SGLang推理引擎的开发。
Key insights
Jev:快速结构化决策的新模型类别
Jev完全放弃文本生成,专注于从非结构化数据中产生类型安全的结构化输出,并带有校准的置信度分数。响应延迟为70-500毫秒,而大型前沿模型为3-329秒。输入令牌价格为每百万令牌0.042美元(输出免费)。TypeSafe声称,与同等智能相比,速度提升20-200倍,成本降低40-400倍。
用于校准决策的RLCD训练方法
创始人Diogo Almeida曾在OpenAI从事InstructGPT和RLHF工作,开发了RLCD(校准决策的强化学习),使模型在自动化中可靠,而非取悦人类。Jev采用并行采样而非自回归生成,使得所有输出可以同时计算,代价是不生成文本。由于架构约束,类型错误率在数学上为零。
关键用例:智能if语句、护栏、实时应用
Jev旨在嵌入代码中作为“智能if语句”——分类、评分、路由、提取。应用场景包括客户服务中的智能分支、大规模数据处理、实时应用(DOOM AI,每小时7美元),以及作为检查LLM输出安全性和格式的护栏。它不能替代对话模型。
SGLang开源课程从头教授推理引擎
Datawhale和RadixArk(SGLang团队)发布了一个四部分课程:第0部分(伦理、部署),第I部分(预填充/解码、计算密集型与内存密集型、Roofline模型等概念),第II部分(10章手工构建mini-sglang),第III部分(SGLang核心开发人员的高级优化),第IV部分(性能分析、PR工作流程)。目标是让学习者成为SGLang贡献者。
课程强调编码伦理与工程实践
该课程包括一个独特的伦理章节,不鼓励AI垃圾贡献和简历驱动的开源工作。它要求性能PR包含性能分析证据。技术内容很少见——大多数教程跳过了“自己动手编码”的步骤。该项目在sgl-project/mini-sglang中提供了参考实现。