XNews

SubQ Snap 1.2、Artificial Analysis指数で73を記録しトップ意思決定モデルと並ぶ

SubQ Snap 1.2、Artificial Analysis指数で73を記録しトップ意思決定モデルと並ぶ

SubquadraticはSubQ Snap 1.2をリリースした。Artificial Analysis Decision Index v2.1で73を記録し、SubQ Snap 1.1から5ポイント上昇、Drex Max v1.1およびGLiDE v1.2と同点となった。価格は100万入力トークンあたり0.04ドルのまま、コンテキストウィンドウは384Kトークン。AA-PaperclipとAA-Symmetryで各8ポイントの向上を達成し、棄権率の増加により非幻覚率が向上した。

イベントのバージョン 1.

Key insights

指数スコアが5ポイント上昇

SubQ Snap 1.2はArtificial Analysis Decision Index v2.1で73を記録し、SubQ Snap 1.1の68から上昇した。Drex Max v1.1とGLiDE v1.2も73を記録し、0.1ポイント以内の差である。

価格とコンテキストは変更なし

価格は100万入力トークンあたり0.04ドルのまま。モデルは384Kトークンのコンテキストウィンドウをサポートする。

PaperclipとSymmetryで最大の向上

SubQ Snap 1.2はAA-Paperclipで8ポイント、AA-Symmetryで8ポイント向上した。AA-Paperclipの全通過率は46%から62%に上昇し、Drex Max v1.1の63%、GLiDE v1.2の62%と同等となった。

棄権が非幻覚率の向上を牽引

非幻覚率はAA-Omniscience-Decisionで85%から89%に、HLE-MultiChoiceで46%から55%に上昇した。精度は21%と9%で横ばいであり、SubQ Snap 1.2はAA-Omniscience-Decisionの質問の29%を試行し、33%から減少した。

Symmetryベンチマークが更新

Decision Index v2.1はAA-Symmetryをv1.1に更新し、回答選択肢を状態に移動させ、同じ意味で言い換える。AA-Symmetryは、質問が重要でない方法で変更された場合に、モデルが同じ決定と信頼度を維持するかどうかを測定する。

Source posts