SubQ Snap 1.2在Artificial Analysis指数上以73分并列顶级决策模型

Subquadratic发布了SubQ Snap 1.2,其在Artificial Analysis决策指数v2.1上获得73分,较SubQ Snap 1.1提升5分,与Drex Max v1.1和GLiDE v1.2并列。定价保持为每100万输入token 0.04美元,上下文窗口为384K token。提升包括在AA-Paperclip和AA-Symmetry上各增加8分,非幻觉率因弃权增加而提高。
事件版本 1.
Key insights
指数得分上升5分
SubQ Snap 1.2在Artificial Analysis决策指数v2.1上获得73分,高于SubQ Snap 1.1的68分。Drex Max v1.1和GLiDE v1.2也获得73分,差距在0.1分以内。
定价和上下文保持不变
定价保持为每100万输入token 0.04美元。该模型支持384K token的上下文窗口。
Paperclip和Symmetry上提升最大
SubQ Snap 1.2在AA-Paperclip上提升8分,在AA-Symmetry上提升8分。AA-Paperclip的全通过率从46%升至62%,与Drex Max v1.1的63%和GLiDE v1.2的62%持平。
弃权推动非幻觉率提升
非幻觉率在AA-Omniscience-Decision上从85%升至89%,在HLE-MultiChoice上从46%升至55%。准确率持平于21%和9%,SubQ Snap 1.2尝试了29%的AA-Omniscience-Decision问题,低于此前的33%。
Symmetry基准更新
决策指数v2.1将AA-Symmetry更新至v1.1,该版本将答案选项移入状态中,并以相同含义重新表述。AA-Symmetry衡量模型在问题以不应影响结果的方式变化时,是否保持相同的决策和置信度。