スープを用いた低VRAM GPUでの大規模モデルのファインチューニング

Soupは、ベースモデルをシステムRAMに保持し、一度に1層ずつGPUメモリにストリーミングすることで、非常に限られたVRAMしか持たないGPU上で大規模言語モデルのファインチューニングを可能にするツールです。わずか4GBのVRAMしかないノートPCのGPUでも、80億パラメータのモデルをファインチューニングでき、ピーク時でも3.32GBのVRAM使用量で、トレーニング結果は標準的なセットアップと同一です。使用には設定ファイル1つと単一のコマンドが必要で、バッチサイズと圧縮パラメータは自動選択されます。著者らは検証用に無料のColabノートブックを提供しています。リモートサーバーや複雑なセットアップは不要で、ゲーミングノートPC上でカスタムモデルトレーニングが可能です。
Key insights
スープはレイヤー単位のストリーミングによりVRAMの壁を打破し、広く普及したハードウェアでのファインチューニングを可能にする
このツールはベースモデルを通常のメモリに保存し、一度に1層だけをGPUにロードするため、GPUは常に1層のみを保持します。この設計により、4GB VRAMのGPU上で80億パラメータモデルをファインチューニングし、ピーク使用量3.32GBで、通常のファインチューニングと区別できない結果を生成することができました。
ワンコマンドセットアップと自動設定により、カスタムモデルトレーニングへの技術的ハードルを低下
ユーザーは設定ファイルと単一のコマンドのみが必要で、Soupがバッチサイズとモデル圧縮を自動的に処理し、従来の試行錯誤によるパラメータ調整を不要にします。リモートサーバーへのログインは不要で、ツールはローカルマシンで動作します。
無料のColabノートブックが再現性を証明し、検証を促す
開発者らは、誰でもファインチューニングパイプラインを実行して結果を確認できるColabノートブックを公開し、信頼性を高めるとともに、ローカル環境のセットアップを必要とせずにアプローチの検証を可能にしています。