XNews

DatawhaleとSGLang、ゼロからミニsglangを構築するオープンソースコースを公開

DatawhaleとSGLang、ゼロからミニsglangを構築するオープンソースコースを公開

DatawhaleとRadixArk(SGLang)は、LLM推論の概念を教え、学習者がゼロからミニsglangを構築し、その後実際のSGLangソースコードに飛び込んで貢献できるように導くオープンソースコースを公開しました。コースは4つのパートで構成され、KVキャッシュ、連続バッチ処理、RadixAttentionの実践的な実装が含まれています。

Source posts