TypeSafe AI 推出 Jev:用于快速决策的 System One 模型

TypeSafe AI 由 ChatGPT 合著者 Diogo Almeida 创立,发布了 Jev,这是一种用于快速决策的新型 AI 模型类别。Jev 输出带有校准概率的结构化结果,速度比 LLM 快 20-200 倍,成本低 40-400 倍。它无法生成自由文本,从而消除了幻觉,其目标用户是需要在其代码中实现“智能 if 语句”的开发者。
Key insights
产品概述与关键规格
Jev 是一个 'System One' 模型,专为快速、结构化决策而非文本生成而设计。它输出带有校准置信度分数的预定义结构化结果。响应时间为 70-500 毫秒,而前沿 LLM 为 3-329 秒。输入 token 价格为每百万个 token 0.042 美元(每十亿个 42 美元),输出 token 免费。TypeSafe 声称 Jev 比同等智能的 LLM 快 20-200 倍,便宜 40-400 倍。
架构:并行采样消除逐 token 生成
Jev 采用并行采样,所有输出一次性计算完毕,这与 LLM 顺序生成 token 的方式不同。这种架构差异类似于 Transformer 取代 RNN。其代价是 Jev 无法生成自由文本;它只输出类型安全的结构化结果。由于架构层面的约束,类型错误在数学上不可能发生,并且由于模型无法生成任意字符串,幻觉也被消除。
训练方法:RLCD 取代 RLHF
Jev 使用 RLCD(用于校准决策的强化学习)进行训练,这是 TypeSafe CEO Diogo Almeida 开发的一种方法。他认为 RLHF 会使模型学习取悦人类,从而导致过度自信和幻觉。RLCD 产生的模型会输出“认知上诚实的”概率。模型可以说“我有 60% 的把握”,而不是编造一个讨喜的字符串。这使得 Jev 适用于可靠性至关重要的自动化场景。
目标用例:代码中的智能 if 语句
Jev 专为开发者设计,用于在代码中嵌入 AI 决策节点:分类、路由、评分、提取、分支、安全护栏。它并非 ChatGPT 或 Claude 的替代品,而是填补了 LLM 过于缓慢、昂贵或不可靠的空白。应用示例包括客户服务中的智能路由、大规模数据分类、实时推荐,以及作为检查 LLM 输出安全性和格式的护栏。
演示:DOOM AI 与 Wikipedia 竞赛
TypeSafe 展示了 Jev 控制 DOOM 游戏 AI 的能力,每秒约调用 10 次,成本约 7 美元/小时。另一个演示是 Wikipedia 竞赛(通过链接从一篇文章导航到另一篇文章),Jev 在非推理模式下的步数和速度均优于 LLM。这些演示展示了 Jev 在实时环境中快速、重复做出决策的能力。
定价理念:杰文斯悖论
'Jev' 这个名字引用了威廉·斯坦利·杰文斯和杰文斯悖论:随着一种资源效率的提高,总消耗量会增加。TypeSafe 押注于让 AI 决策变得极其便宜将导致使用量的爆炸式增长。输出 token 免费,因为它们“便宜到无需计量”。该公司声称已经盈利,并计划进一步降价,专注于扩展任务空间,而不是在单位智能上进行竞争。