XNews

Luma推出面向打包多模态掩码的MARBLE序列并行技术

Luma推出面向打包多模态掩码的MARBLE序列并行技术

Luma推出了MARBLE,一种面向打包多模态序列的掩码感知序列并行方法,可逐层选择环形注意力、稀疏全对全通信或Ulysses。MARBLE与单GPU数值结果一致,并在最多128块H100 GPU上于48个案例中的47个优于FlashMask加Ulysses的混合方案。

事件版本 1.

Key insights

逐层策略选择

MARBLE根据掩码模式为每一层选择环形注意力、稀疏全对全通信或Ulysses。该方法针对打包多模态序列,其中文本是因果的,而图像或视频通常是双向的。

精确数值

MARBLE在环形步骤间将softmax状态保持为fp32以避免舍入误差。其输出和梯度与单GPU结果一致。

均衡环形注意力核心

MARBLE采用块稀疏规划策略,配合逐令牌元数据和处理时间轮询,在各rank间均匀平衡工作负载。它还包括一个用于长生成的块状环形注意力变体。

基准测试结果

MARBLE在48个案例中的47个优于FlashMask加Ulysses的混合方案。测试在最多128块H100 GPU上运行。

Source posts