XNews

Datawhale与RadixArk开源课程:从零构建mini-sglang

Datawhale与RadixArk开源课程:从零构建mini-sglang

Datawhale与RadixArk(SGLang)联合发布了一门开源课程,该课程从零开始讲解LLM推理概念,然后引导学习者构建一个mini-sglang,最后深入实际SGLang源代码进行高级优化。课程涵盖GPU、KV缓存、连续批处理、分页注意力等内容。高级部分由SGLang核心成员编写。课程还包括严谨的代码道德章节和严格的工程标准。

Source posts