TypeSafe AI 推出 Jev,一种‘系统一’决策模型

TypeSafe AI 由一位 ChatGPT 合著者共同创立,推出了 Jev,这是一种‘系统一’决策模型,不生成文本,而是输出带有校准概率的结构化决策。在分类、路由和提取任务中,其速度比前沿大语言模型快 20 到 200 倍,成本低 40 到 400 倍。
Key insights
Jev 的技术架构与 LLM 有本质区别
Jev 采用并行采样而非自回归令牌生成,响应时间可达 70 至 500 毫秒。它输出预定义的结构化结果,并附有置信度分数,使得类型错误在数学上不可能发生,并消除了幻觉。该模型使用 RLCD(用于校准决策的强化学习)进行训练,这是 TypeSafe AI 开发的一种新方法。
Jev 针对特定自动化用例,而非通用对话
Jev 专为软件工作流中的‘智能 if 语句’而设计:分类、评分、路由、提取和护栏。它在实时应用中表现出色,例如游戏 AI(Doom 演示每秒 10 次调用)、大规模数据处理,以及作为 LLM 输出的质量检查器。它不会取代 ChatGPT 或 Claude,而是填补了代码中快速、可靠决策的空白。
Jev 发布后,开源系统一模型迅速涌现
在 Jev 发布后的七天内,开源系统一模型便出现在 GitHub 和 Hugging Face 上。其中一个模型获得了 15,000 个 GitHub 星标,并登顶 Hugging Face 趋势榜。这种快速复制显示了开发者浓厚的兴趣以及该方法的可行性。
Jev 的定价和商业模式旨在大规模普及
TypeSafe AI 每百万输入令牌收费 0.042 美元,输出令牌免费。该公司声称已实现盈利,并计划进一步降价。名称‘Jev’引用杰文斯悖论,押注决策成本的大幅降低将导致使用量的爆炸式增长。