Jev:TypeSafe的快速结构化决策模型
由ChatGPT联合发明人共同创立的TypeSafe AI发布了Jev,这是首个专为软件内部快速、结构化决策设计的“System One”模型。Jev可在70-500毫秒内输出校准的、类型安全的结果,速度比同类大语言模型快20-200倍,成本低40-400倍,且不生成文本。
Key insights
Jev瞄准快速可靠的代码内决策
TypeSafe AI推出了Jev,这是一种名为“System One”的新型AI模型,专为软件内部的快速结构化决策而设计。与大语言模型不同,Jev不生成文本,而是输出类型安全、校准的结果,用于分类、评分、路由和提取。其响应时间为70-500毫秒,速度比同类模型快20-200倍,成本低40-400倍,且无输出成本。
RLCD训练方法确保可靠性
Jev采用了一种名为RLCD(用于校准决策的强化学习)的新训练方法构建,该方法由ChatGPT和GPT-4论文的合著者Diogo Almeida开发。该方法解决了自动化场景中可靠性问题,在这些场景中,基于RLHF训练的模型可能不够可靠。Jev的架构使用并行采样而非顺序令牌生成,从而实现其速度优势。
Jev作为开发者的“智能if语句”
Jev被定位为开发者嵌入系统架构的组件,用于处理工作流中的智能分支、大规模数据处理、实时应用以及作为大语言模型输出的护栏。目前处于早期访问阶段,开发者可加入等待列表。