XNews

Datawhale与RadixArk联合推出SGLang开源课程

Datawhale与RadixArk联合推出SGLang开源课程

Datawhale与RadixArk(SGLang)联合推出了一门开源课程,课程教授LLM推理概念,从零构建一个mini-sglang,随后深入探索真实的SGLang源代码。课程包含代码伦理章节,旨在将学习者培养为SGLang贡献者。

Key insights

课程从零构建mini-sglang,教授推理引擎设计

课程分为四个部分:第0部分涵盖代码伦理和SGLang部署;第一部分教授LLM推理概念(预填充、解码、KV缓存、屋顶线模型),无需GPU;第二部分用十个章节构建mini-sglang,涵盖正确性、效率、服务、调度、内存管理和扩展;第三部分探索真实SGLang源代码中的注意力后端、量化及PD分离;第四部分介绍性能分析和PR工作流程。

由SGLang核心团队成员编写,注重工程实践

高级部分由SGLang官方成员(YichiZ03、fcranzhou)编写。课程包含统一的写作模板、用于结构检查的CI脚本,以及中英文双语支持。代码伦理章节明确反对AI垃圾贡献,并强调优化前先进行性能分析。

Source posts