XNews

解析:300亿参数模型如何每个token仅激活30亿参数

解析:300亿参数模型如何每个token仅激活30亿参数

该帖子分享了一项技术解析,阐述了一个300亿参数模型如何在利用完整模型能力的同时,每个token仅激活30亿参数。内容涵盖了密集模型与MoE模型的对比,以及对吞吐量、内存和推理服务复杂性的影响。

Source posts