Databricks、AI Runtime上でQwen 3.8 27Bのファインチューニング時間を6倍短縮

Databricksは、AI Runtime上でQwen 3.8 27Bの教師ありファインチューニング時間を7時間44分から1時間17分に短縮し、6倍の高速化を実現した。プロファイリングにより、ボトルネックはGPUではなくCPUであることが判明し、高速化はフューズドカーネル(flash-linear-attentionとcausal-conv1d)の導入による3.7倍の改善と、1Dシーケンスパッキングによるさらなる1.6倍の改善からもたらされた。
イベントのバージョン 1.
Key insights
ボトルネックはGPUではなくCPUスケジューリング
プロファイリングにより、ステップあたりのCPU時間(14.4秒)がGPU時間(10.3秒)を上回り、ステップあたり約171万回のCPU呼び出しが発生していることが判明した。GPU使用率98%という数値は、GPUが動作しているかどうかのみを測定し、どれだけ効率的に動作しているかを測定しないため、非効率性を覆い隠していた。
フューズドカーネルが3.7倍の高速化を実現
flash-linear-attentionとcausal-conv1dを導入することで、トレーニング時間が7時間44分から2時間05分に短縮され、ステップあたりの演算子数が約15分の1に削減された。Databricksは、FSDP2との競合とコンパイルの遅さを理由に、CUDA Graphsとtorch.compileを採用しなかった。
1Dシーケンスパッキングがさらに1.6倍を追加
正しいposition_idsを使用してサンプルを1次元に連結することで、トレーニング時間が2時間05分から1時間17分に短縮された。このアプローチにより、バッチ数が約36%削減され、JITコンパイルのオーバーヘッドが低減された。
カーネルのロードとトレーニングサポートには検証が必要
HF Kernel Hubを介した動的ロードは、バージョンの不一致時に最適化されていないパスにサイレントにフォールバックする可能性があり、一部のカーネルはフォワードパスのみを実装しているため、トレーニングには使用できない。
プラットフォームツールが最適化を支援
AI RuntimeパッケージはCUDAとFlash Attentionを更新し、プロファイラツールを維持し、組み込みのGPUメトリクスを含み、Genie Codeはコードレベルでそのような最適化を積極的に特定する。