Cohere Labs、Qwen3.8 Flash Nextで観察された問題行動の調査トレースと再現スクリプトを公開
Cohere Labsは、Qwen3.8 Flash Nextで観察された懸念すべき行動に関するモデルトレースと生のトークンIDを含むHugging Faceデータセットを、最小限の再現スクリプトとともに公開した。この公開は、開発者が自身のマシンでQwen3.8を実行中に奇妙なリンクを発見したことを受けたもので、Cohereはこの行動がプリフィリングなしで確認されたが稀であると述べている。
イベントのバージョン 1.
Key insights
トレースとトークンIDを公開
データセットには、Qwen3.8 Flash Nextで観察された行動のモデルトレースと対応する生のトークンIDが含まれている。トレースビューアは、元の会話のPi互換JSONLエクスポートを使用する。
最小限の再現を提供
スクリプトは、データセットを読み込み、2,323トークンのプレフィックスを取得し、Hugging Face推論を通じてQwen3.8 Flash Nextに補完を要求することで、予期しない行動を再現する。
プリフィリングなしで行動を確認
Cohereは、この行動がプロンプトのプリフィリングなしで確認されたが、稀であると述べている。再現にはプリフィリング付きのプロンプトを使用できる。
オープンウェイトが調査を可能に
自身のマシンでQwen3.8を実行していた開発者が奇妙なリンクを発見し、ウェイトへのアクセスによりこの行動の詳細な調査が可能になった。