Qwen3.8-Flash-Next リリース

Alibaba Qwen は Qwen3.8-Flash を公開し、Qwen4 アーキテクチャの初期プレビュー版である Qwen3.8-Flash-Next をオープンソース化しました。これは、フルファミリーのリリースに先立ち、推論フレームワークの適応を目的としています。 - Qwen3.7-Plus (397B/A17B) との比較:アクティブパラメータ数1/3、学習トークン数1/3、学習FLOPs約1/9。14の事前学習ベンチマーク中8つでリードし、残りのスコアも2.6ポイント以内。 - 学習安定性:最適学習率の4倍でのストレステストにおいて、従来の手法(AdamW + Qwen3.5)では頻繁に損失スパイクが発生したのに対し、新手法(Muon最適化 + ゲート付き残差接続)ではスパイクがゼロ。本番学習ではqk-clipが不要。 - 事後学習の公式ベンチマーク:DeepSWE 1.1 58.7(Qwen3.7-Plus 16.5、DeepSeek-V4-Flash 54.4)、SWE-bench Pro 62.5、SWE-bench 多言語 81.0、CoWorkBench 73.9、JobBench 55.7、Toolathlon 73.5、GPQA Diamond 91.7、LiveCodeBench v6 91.9、IFBench 81.3、AndroidWorld 84.5、コードインタプリタ付きMathVision 95.7、OSWorld 2.0 部分 52.3、LVBench 76.6。 - NVIDIA は NeMo AutoModel および NeMo RL ファインチューニングレシピによる Day 0 サポートを提供し、SGLang、vLLM、Lightseekorg TokenSpeed との統合も実施。
Key insights
Qwen4 アーキテクチャの早期プレビュー、エコシステムの準備態勢を目指す
Qwen3.8-Flash-Next は Qwen4 アーキテクチャの初期プレビュー版として明示的に位置づけられ、フルファミリーに先立ってオープンソース化されました。これにより、vLLM や SGLang などの推論フレームワークやインフラ開発者が、正式な Qwen4 リリース前に適応を完了できるようになります。NVIDIA はファインチューニングレシピと統合による Day 0 サポートを確認しています。
画期的な効率性:少ないパラメータで高い競争力を実現
前世代の Qwen3.7-Plus と比較して、Flash-Next はアクティブパラメータ数1/3、学習トークン数1/3、学習FLOPs約1/9でありながら、14の事前学習ベンチマーク中8つでリードし、残りも最大2.6ポイント差に留まります。この計算資源の大幅削減と競争力のある性能の維持は、アーキテクチャの改善を示しています。
Muon最適化とゲート付き残差接続が学習の不安定性を解消
最適学習率の4倍を適用した再現可能なストレステストでは、従来の AdamW + Qwen3.5 レシピが頻繁に損失スパイクを発生させたのに対し、新たな Muon 最適化とゲート付き残差接続ではスパイクがゼロでした。さらに、本番学習パイプラインでは明示的な qk-clip が不要であり、より安定性と堅牢性に優れた学習手法であることが示されています。
エージェント型コーディングと長期的ベンチマークで明確なリーダーシップ
エージェント型コーディングタスクにおいて、Qwen3.8-Flash-Next は DeepSWE 1.1 で58.7を記録し、Qwen3.7-Plus の16.5を大きく上回り、DeepSeek-V4-Flash の54.4も超えました。また、SWE-bench Pro 62.5、多言語81.0、CoWorkBench 73.9、JobBench 55.7、Toolathlon 73.5など、長期オフィス・エージェント系の結果も顕著に優れています。
マルチモーダル機能が視覚・動画タスクに拡張
本モデルは AndroidWorld 84.5、コードインタプリタ付き MathVision 95.7、OSWorld 2.0 部分 52.3、長尺動画 LVBench 76.6 を達成し、デバイス操作、数理視覚、OS操作、動画理解の各分野で高い性能を示しています。