XNews

DatawhaleとSGLang、ゼロから推論エンジンを構築するオープンソースコースを公開

DatawhaleとSGLang、ゼロから推論エンジンを構築するオープンソースコースを公開

DatawhaleとRadixArk(SGLang)は、ゼロからミニSGLangを構築し、その後実際のSGLangソースコードを読んでPRを投稿するまでのオープンソースコースを公開した。このコースでは、LLM推論の概念、KVキャッシュ、連続バッチ処理、ページアテンション、投機的デコードについて扱う。第3部では、アテンションバックエンド、量子化、PD分離について、SGLang公式チームメンバーが執筆しており、貴重な信頼性の高いシステムチュートリアルとなっている。

Source posts