DatawhaleとRadixArkが公開するSGLangオープンソースコース

DatawhaleとRadixArk(SGLang)は、LLM推論の概念を教え、ゼロからミニSGLangを構築し、実際のSGLangソースコードを探求するオープンソースコースを公開しました。このコースにはコーディング倫理に関する章が含まれており、学習者をSGLangコントリビューターに育成することを目指しています。
Key insights
コースはミニSGLangをゼロから構築し、推論エンジンの設計を教える
コースは4つのパートで構成:パート0はコーディング倫理とSGLangのデプロイを扱う;パートIはGPU不要でLLM推論の概念(プリフィル、デコード、KVキャッシュ、ルーフラインモデル)を教える;パートIIは10章にわたり、正確性、効率性、サービング、スケジューリング、メモリ管理、スケーリングをカバーしてミニSGLangを構築する;パートIIIは実際のSGLangソースコードでアテンションバックエンド、量子化、PD分離を探求する;パートIVはプロファイリングとPRワークフローを扱う。
SGLangコアチームメンバーが執筆し、強固なエンジニアリング実践を提供
上級パートはSGLang公式メンバー(YichiZ03、fcranzhou)が執筆。コースには統一された執筆テンプレート、構造チェック用のCIスクリプト、バイリンガル(中国語/英語)対応が含まれる。コーディング倫理の章では、AIによる粗雑なコントリビューションに明確に反対し、最適化前のプロファイリングを強調している。