Datawhale与RadixArk联合推出开源课程:从零构建SGLang

Datawhale与RadixArk联合推出了一门开源课程,从零开始构建一个微型sglang,再将其映射到真实的SGLang源代码。课程涵盖LLM推理概念、KV缓存、连续批处理、调度、分页内存,以及由SGLang维护者编写的高级注意力机制与量化主题。最后一部分教授完整的PR工作流程。

Datawhale与RadixArk联合推出了一门开源课程,从零开始构建一个微型sglang,再将其映射到真实的SGLang源代码。课程涵盖LLM推理概念、KV缓存、连续批处理、调度、分页内存,以及由SGLang维护者编写的高级注意力机制与量化主题。最后一部分教授完整的PR工作流程。