SubQ Snap 1.2、Artificial Analysis指数で73を記録しトップ意思決定モデルと並ぶ

SubquadraticはSubQ Snap 1.2をリリースした。Artificial Analysis Decision Index v2.1で73を記録し、SubQ Snap 1.1から5ポイント上昇、Drex Max v1.1およびGLiDE v1.2と同点となった。価格は100万入力トークンあたり0.04ドルのまま、コンテキストウィンドウは384Kトークン。AA-PaperclipとAA-Symmetryで各8ポイントの向上を達成し、棄権率の増加により非幻覚率が向上した。
イベントのバージョン 1.
Key insights
指数スコアが5ポイント上昇
SubQ Snap 1.2はArtificial Analysis Decision Index v2.1で73を記録し、SubQ Snap 1.1の68から上昇した。Drex Max v1.1とGLiDE v1.2も73を記録し、0.1ポイント以内の差である。
価格とコンテキストは変更なし
価格は100万入力トークンあたり0.04ドルのまま。モデルは384Kトークンのコンテキストウィンドウをサポートする。
PaperclipとSymmetryで最大の向上
SubQ Snap 1.2はAA-Paperclipで8ポイント、AA-Symmetryで8ポイント向上した。AA-Paperclipの全通過率は46%から62%に上昇し、Drex Max v1.1の63%、GLiDE v1.2の62%と同等となった。
棄権が非幻覚率の向上を牽引
非幻覚率はAA-Omniscience-Decisionで85%から89%に、HLE-MultiChoiceで46%から55%に上昇した。精度は21%と9%で横ばいであり、SubQ Snap 1.2はAA-Omniscience-Decisionの質問の29%を試行し、33%から減少した。
Symmetryベンチマークが更新
Decision Index v2.1はAA-Symmetryをv1.1に更新し、回答選択肢を状態に移動させ、同じ意味で言い換える。AA-Symmetryは、質問が重要でない方法で変更された場合に、モデルが同じ決定と信頼度を維持するかどうかを測定する。