Databricks 在 AI Runtime 上将 Qwen 3.8 27B 微调时间缩短 6 倍

Databricks 在其 AI Runtime 上将 Qwen 3.8 27B 的监督微调时间从 7 小时 44 分钟缩短至 1 小时 17 分钟,实现了 6 倍加速。性能分析显示瓶颈在于 CPU 而非 GPU,性能提升来自安装融合内核(flash-linear-attention 和 causal-conv1d)带来的 3.7 倍改进,以及一维序列打包带来的额外 1.6 倍提升。
事件版本 1.
Key insights
瓶颈在于 CPU 调度而非 GPU
性能分析显示每步的 CPU 时间(14.4 秒)超过了 GPU 时间(10.3 秒),每步约有 171 万次 CPU 调用。98% 的 GPU 利用率掩盖了低效问题,因为它只衡量 GPU 是否在工作,而非工作效果如何。
融合内核带来了 3.7 倍加速
安装 flash-linear-attention 和 causal-conv1d 将训练时间从 7 小时 44 分钟缩短至 2 小时 05 分钟,并将每步算子数量减少了约 15 倍。Databricks 因 FSDP2 冲突和编译缓慢而放弃了 CUDA Graphs 和 torch.compile。
一维序列打包额外带来 1.6 倍提升
将样本拼接为一维并使用正确的 position_ids,将训练时间从 2 小时 05 分钟缩短至 1 小时 17 分钟。该方法将批次数量减少了约 36%,并降低了 JIT 编译开销。
内核加载与训练支持需要验证
通过 HF Kernel Hub 动态加载在版本不匹配时可能静默回退到未优化的路径,且部分内核仅实现了前向传播,无法用于训练。
平台工具支持了此次优化
AI Runtime 打包了更新的 CUDA 和 Flash Attention,维护了性能分析工具,内置了 GPU 指标,且 Genie Code 能在代码层面主动识别此类优化机会。