XNews

Datawhale与SGLang联合推出开源课程:构建迷你SGLang

Datawhale与SGLang联合推出开源课程:构建迷你SGLang

Datawhale与RadixArk(SGLang)发布了一门开源课程,从零开始教授LLM推理概念,引导学习者构建迷你SGLang,随后深入真实SGLang源码进行高级优化。第三部分由SGLang核心成员撰写,涵盖注意力后端、量化、分层缓存及PD分离。

Source posts