XNews

Datawhale与SGLang联合推出开源课程:构建迷你推理引擎

Datawhale与SGLang联合推出开源课程:构建迷你推理引擎

Datawhale和RadixArk发布了开源课程,从头教授LLM推理,通过构建mini-sglang实现。该课程分为四个部分,涵盖概念、实现、高级优化以及贡献工作流程。SGLang核心团队成员撰写了高级部分,包括注意力后端、量化以及PD分离。

Source posts