DeepSeek-V4.1-Flash テクニカルレポート:プリフィル、キャッシュ、デコーディングの最適化
DeepSeekはV4.1-Flashのテクニカルレポートを公開し、プリフィル計算、HBMキャッシュ、SSD/ホスト永続キャッシュ、キャッシュ無効化復旧の結合最適化について詳述した。特筆すべき設計は、長期のローカルキャッシュ状態保存を代替する近似SWA Bounded Replayである。
Key insights
推論パイプラインの結合最適化
DeepSeek-V4.1-Flashのテクニカルレポートは、プリフィル計算、HBMキャッシュ、SSD/ホスト永続キャッシュ、キャッシュ無効化復旧にわたる結合最適化を説明している。最も注目すべき設計は、長期のローカルキャッシュ状態を保存する必要性をなくし、メモリオーバーヘッドを削減しながら性能を維持する近似SWA Bounded Replay機構である。