Luma、パックされたマルチモーダルマスク向けMARBLEシーケンス並列処理を発表

Lumaは、パックされたマルチモーダルシーケンス向けのマスク対応シーケンス並列処理手法MARBLEを発表した。これはレイヤーごとにリングアテンション、スパースオールツーオール、またはUlyssesを選択する。MARBLEは単一GPUの数値結果と一致し、最大128台のH100 GPU上で48ケース中47ケースにおいてFlashMaskとUlyssesのハイブリッドを上回る性能を示した。
イベントのバージョン 1.
Key insights
レイヤーごとの戦略選択
MARBLEはマスクパターンに基づいて、レイヤーごとにリングアテンション、スパースオールツーオール、またはUlyssesを選択する。このアプローチは、テキストが因果的で画像や動画が通常双方向であるパックされたマルチモーダルシーケンスを対象としている。
正確な数値
MARBLEはリングステップ間でソフトマックス状態をfp32で保持し、丸め誤差を回避する。その出力と勾配は単一GPUの結果と一致する。
バランスの取れたリングアテンションコア
MARBLEは、トークンごとのメタデータと処理時間のラウンドロビンを用いたブロックスパース計画戦略を採用し、ランク間で作業を均等に分散させる。また、長い生成向けのチャンク化リングアテンション変種も含む。
ベンチマーク結果
MARBLEは48ケース中47ケースでFlashMaskとUlyssesのハイブリッドを上回る。テストは最大128台のH100 GPUで実行された。