XNews

TypeSafe AI推出Jev,一款快速决策AI模型

TypeSafe AI推出Jev,一款快速决策AI模型

TypeSafe AI由一位ChatGPT联合发明人创立,推出了Jev,这是一款专为软件中快速、结构化决策而设计的System One模型。Jev输出带有置信度分数的类型安全结果,运行速度比前沿LLMs快20-200倍,成本低40-400倍,并且通过不生成自由文本来消除幻觉。

Key insights

RLCD训练消除幻觉

TypeSafe AI的Jev使用了一种名为RLCD(用于校准决策的强化学习)的新型训练方法,而非RLHF。通过不生成自由文本,Jev无法产生幻觉;它只输出预定义的结构化结果,并带有认知上诚实的置信度分数。这解决了RLHF的根本问题,即模型学会为了取悦人类而假装自信。

性能:快20-200倍,便宜40-400倍

Jev的响应时间为70-500毫秒,而前沿LLMs为3-329秒。输入令牌价格为每百万令牌0.042美元,输出令牌免费。TypeSafe声称,与同等智能水平的模型相比,Jev速度快20-200倍,成本低40-400倍,但极端倍数代表最佳情况。速度来自并行采样架构。

架构:并行采样而非自回归生成

与顺序生成令牌的传统LLMs不同,Jev使用并行采样一次性计算所有输出。这种架构转变,类似于Transformer取代RNN,实现了显著的性能提升。其代价是Jev无法生成任意文本;它只输出预定义的结构化决策类型。

用例:软件的智能if语句

Jev专为代码中需要‘智能if语句’的场景设计:分类、路由、评分、提取和分支。示例应用包括实时游戏AI(《毁灭战士》每秒10次查询,约7美元/小时)、维基百科竞速、客服工单路由、大规模数据处理以及LLM输出的护栏。它填补了规则引擎过于脆弱、LLMs过于缓慢/昂贵的空白。

产品定位:软件的组件,而非聊天机器人

TypeSafe明确将Jev定位为ChatGPT和Claude等对话模型的补充。Jev并非面向最终用户,而是面向将AI决策节点嵌入系统架构的开发者。其API不是消息流,而是输入结构化程序状态,输出类型化决策。目标是‘更智能的软件,而非即时软件’。

杰文斯悖论:效率驱动使用量增长

‘Jev’这一名称引用了杰文斯悖论,即效率提高导致总消耗量增加。TypeSafe押注于,通过使AI决策极其廉价(输出令牌免费,输入每百万令牌0.042美元),AI的使用量将激增。该公司声称已实现盈利,并计划继续降价。

可用性:早鸟访问,需等待名单

Jev目前处于早期访问阶段。开发者可在TypeSafe官网加入等待名单。该模型已在生产环境中用于各种任务,公司还演示了包括《毁灭战士》和维基百科竞速在内的现场演示。

Source posts