TypeSafe AI推出Jev:一种系统一决策模型

TypeSafe AI由ChatGPT合著者创立,发布了名为Jev的新型AI模型——系统一(System One)。Jev可在70-500毫秒内输出结构化、类型安全的决策,并带有校准概率。其输入令牌成本为每百万个0.042美元,输出令牌免费。该模型专为软件系统中的快速、可靠决策而设计。
Key insights
Jev放弃文本生成以消除幻觉
Jev不生成自由文本,而是输出预定义的结构化结果,并带有校准的置信度分数。由于输出结构在架构层面强制执行,类型错误在数学上不可能发生。这种方法直接解决了基于RLHF训练的大语言模型固有的幻觉问题,这类模型会学习过度自信并编造答案以取悦人类。
Jev比前沿大语言模型快20-200倍,便宜40-400倍
Jev的响应时间为70-500毫秒,而前沿大语言模型为3-329秒。输入令牌成本为每百万个0.042美元,输出令牌免费。TypeSafe声称,与同等智能水平的模型相比,Jev速度快20-200倍,成本低40-400倍。速度优势来自并行采样而非顺序令牌生成。
Jev瞄准软件系统中的“智能if语句”
Jev专为分类、路由、评分、提取和代码分支等任务设计。它作为快速、可靠的AI决策节点,适用于规则引擎过于僵化、大语言模型过慢或成本过高的情况。用例包括客户支持路由、大规模数据处理、实时应用以及大语言模型输出的护栏。
AI应用的新型三层架构
Jev引入了三层架构:大语言模型层用于开放性工作(编程、研究),Jev层用于模糊但有边界的语义决策(路由、风险门控),确定性代码层用于硬约束(文件权限、支出限制)。这种分离使每一层都能针对其角色进行优化。
Jev支持实时游戏AI和语义搜索等新应用
演示包括以每秒10次调用控制DOOM AI机器人(7美元/小时)、维基百科竞速以及一款3D渲染游戏。第三方演示展示了浏览器中的语义Ctrl+F、PostgreSQL中的语义检索以及从用户事件日志中检测漏洞。这些展示了Jev在交互系统中做出快速决策的能力。