Datawhale与SGLang联合发布开源课程:从零构建推理引擎

Datawhale与RadixArk(SGLang)联合发布一门开源课程,指导学习者从零构建一个简易版sglang,进而过渡到阅读真实SGLang源代码并贡献代码(PR)。课程涵盖大语言模型推理概念、KV缓存、连续批处理、分页注意力机制以及推测解码等内容。第三部分由SGLang官方团队成员编写,涉及注意力后端、量化及PD分离,是罕见的权威系统教程。

Datawhale与RadixArk(SGLang)联合发布一门开源课程,指导学习者从零构建一个简易版sglang,进而过渡到阅读真实SGLang源代码并贡献代码(PR)。课程涵盖大语言模型推理概念、KV缓存、连续批处理、分页注意力机制以及推测解码等内容。第三部分由SGLang官方团队成员编写,涉及注意力后端、量化及PD分离,是罕见的权威系统教程。