XNews

TypeSafe AI 推出 Jev:一种不生成文本的系统一模型

TypeSafe AI 推出 Jev:一种不生成文本的系统一模型

TypeSafe AI 由一位 ChatGPT 的合著者创立,发布了名为 Jev 的新型 AI 模型,属于“系统一”类别。该模型不生成文本,而是输出带有校准概率的结构化决策。Jev 专为软件中的快速、低成本决策而设计,响应时间为 70-500 毫秒,输入定价为每百万 token 0.042 美元,输出 token 免费。

Key insights

Jev 的核心设计:放弃文本生成,仅提供结构化决策

Jev 完全摒弃了文本生成,以避免幻觉。它输出预定义的结构化结果,并附有置信度评分,使得类型错误在数学上成为不可能。这一设计源于一个洞察:RLHF 会促使模型假装自信,而 Jev 的 RLCD 训练方法则能产生校准后的决策。该模型针对分类、路由、评分和提取等任务进行了优化,在代码中充当“智能 if 语句”。

性能与成本优势

Jev 的响应时间为 70-500 毫秒,比主流大语言模型快 20-200 倍,成本低 40-400 倍,输入价格为每百万 token 0.042 美元,输出免费。这一速度得益于并行采样而非自回归 token 生成。其代价是 Jev 无法生成自由文本,但在需要快速、可靠的结构化决策场景中表现卓越。

目标用例与演示

Jev 专为在代码中嵌入 AI 决策的开发者设计,适用于工作流中的智能分支、大规模数据处理、实时应用以及大语言模型输出的护栏。演示案例包括以每秒 10 次查询(每小时 7 美元)控制 DOOM 机器人,以及维基百科竞速赛。TypeSafe 还展示了集成功能,例如网页中的语义 Ctrl+F 以及用于语义搜索的 PostgreSQL 函数。

Source posts