Luma推出面向打包多模态掩码的MARBLE序列并行技术

Luma推出了MARBLE,一种面向打包多模态序列的掩码感知序列并行方法,可逐层选择环形注意力、稀疏全对全通信或Ulysses。MARBLE与单GPU数值结果一致,并在最多128块H100 GPU上于48个案例中的47个优于FlashMask加Ulysses的混合方案。
事件版本 1.
Key insights
逐层策略选择
MARBLE根据掩码模式为每一层选择环形注意力、稀疏全对全通信或Ulysses。该方法针对打包多模态序列,其中文本是因果的,而图像或视频通常是双向的。
精确数值
MARBLE在环形步骤间将softmax状态保持为fp32以避免舍入误差。其输出和梯度与单GPU结果一致。
均衡环形注意力核心
MARBLE采用块稀疏规划策略,配合逐令牌元数据和处理时间轮询,在各rank间均匀平衡工作负载。它还包括一个用于长生成的块状环形注意力变体。
基准测试结果
MARBLE在48个案例中的47个优于FlashMask加Ulysses的混合方案。测试在最多128块H100 GPU上运行。