Datawhale与SGLang联合推出开源课程,打造迷你版sglang

Datawhale与RadixArk(SGLang)发布了一门开源课程,该课程教授大语言模型推理概念,并引导学习者从零开始构建一个迷你版sglang。课程涵盖GPU、KV缓存、调度和内存管理,并由SGLang核心成员讲授高级主题。该课程旨在将学习者培养为SGLang贡献者。

Datawhale与RadixArk(SGLang)发布了一门开源课程,该课程教授大语言模型推理概念,并引导学习者从零开始构建一个迷你版sglang。课程涵盖GPU、KV缓存、调度和内存管理,并由SGLang核心成员讲授高级主题。该课程旨在将学习者培养为SGLang贡献者。