DeepSeek-V4.1-Flash 技术报告:优化预填充、缓存与解码
DeepSeek 发布了 V4.1-Flash 的技术报告,详细介绍了对预填充计算、HBM 缓存、SSD/主机持久化缓存以及缓存失效恢复的联合优化。一个显著的设计是使用近似 SWA 有界重放来替代本地缓存状态的长期存储。
Key insights
推理流水线的联合优化
DeepSeek-V4.1-Flash 的技术报告描述了对预填充计算、HBM 缓存、SSD/主机持久化缓存以及缓存失效恢复的联合优化。最显著的设计是一种近似 SWA 有界重放机制,该机制替代了长期存储本地缓存状态的需求,在保持性能的同时减少了内存开销。