XNews

NVIDIA详解MoE模型:300亿参数,每token激活30亿参数

NVIDIA详解MoE模型:300亿参数,每token激活30亿参数

NVIDIA发布了一份技术解释,详细说明了混合专家(MoE)模型如何每token仅激活300亿参数中的30亿,以及这对吞吐量、内存和服务复杂性的影响。

Source posts