Datawhale与RadixArk联合推出开源课程:从零构建mini-sglang

Datawhale与RadixArk(SGLang)联合推出了一门开源课程,通过从零构建mini-sglang来教授大语言模型推理。课程涵盖核心概念(预填充/解码、屋顶线模型),随后实现KV缓存、调度器、分页内存、RadixAttention,最后深入真实SGLang代码进行高级优化。课程还包含编程伦理章节,旨在将学习者转变为贡献者。

Datawhale与RadixArk(SGLang)联合推出了一门开源课程,通过从零构建mini-sglang来教授大语言模型推理。课程涵盖核心概念(预填充/解码、屋顶线模型),随后实现KV缓存、调度器、分页内存、RadixAttention,最后深入真实SGLang代码进行高级优化。课程还包含编程伦理章节,旨在将学习者转变为贡献者。