XNews

無料のオープンソースコース、公式メンテナーと共にSGLangをゼロから手作り

無料のオープンソースコース、公式メンテナーと共にSGLangをゼロから手作り

DatawhaleとRadixArkは、ミニSGLangをゼロから手作りするための無料のオープンソースコースを公開しました。LLM推論の概念をカバーし、その後、正確性、効率性、サービング、スケジューリング、メモリ管理、スケーリングを段階的に構築していきます。パートIIIとIVは公式のSGLangメンテナーが担当し、アテンションバックエンド、量子化、およびコントリビューションのためのPRワークフローについて解説します。

Source posts