Datawhale与SGLang联合推出开源课程,从零构建mini-sglang

Datawhale与RadixArk(SGLang)发布了一门开源课程,该课程教授大语言模型推理概念,引导学习者从零构建一个mini-sglang,进而深入研读真实的SGLang源代码并参与贡献。课程分为四个部分,包含KV缓存、连续批处理和RadixAttention的动手实现。

Datawhale与RadixArk(SGLang)发布了一门开源课程,该课程教授大语言模型推理概念,引导学习者从零构建一个mini-sglang,进而深入研读真实的SGLang源代码并参与贡献。课程分为四个部分,包含KV缓存、连续批处理和RadixAttention的动手实现。