XNews

スタンフォードCS336講義10、アーキテクチャからシステムまでの推論最適化を解説

スタンフォードCS336講義10、アーキテクチャからシステムまでの推論最適化を解説

スタンフォード大学のCS336コースは、Percy Liang教授による講義10「推論」を公開した。この講義は「スケーリング則」と「スケーリング則II」の間に位置する。講義では、自己回帰から低い演算強度を経てメモリ律速実行に至る数学的な連鎖をたどり、すべての最適化をアーキテクチャ、アルゴリズム、システム層にわたってステップあたりの移動バイト数を削減することとして枠組み化している。結論として、KVキャッシュがTransformer推論の非効率性の構造的な原因であり、SSM、線形注意、拡散ベースの非自己回帰生成など、当初から推論向けに設計されたアーキテクチャがこの分野の最大の改善余地を提供する可能性があると述べている。

イベントのバージョン 1.

Key insights

数学的な連鎖がすべての最適化を枠組み化

講義は、自己回帰、シーケンスに沿った並列化の不可能性、低い演算強度、メモリ律速実行、そして最終的にすべての最適化がステップあたりの移動バイト数の削減に等しいという論理順序で構成されている。

アーキテクチャ層の技術は損失を伴う

GQA、MLA、CLAの次元削減、局所注意の切り詰め、量子化、プルーニング/蒸留はすべてKVキャッシュとパラメータを縮小するために機能し、精度が損なわれないことを示す評価が必要である。

投機的サンプリングは損失なしの高速化を提供

投機的サンプリングは、検証が生成よりも高速であるという非対称性を利用して、精度コストなしで正確な加速を得る。

システム層はOSのアイデアをGPUサービングに移植

連続バッチ処理、ページング、プレフィックス共有、コピーオンライトは、古典的なオペレーティングシステムの概念をGPUサービングに移行するものである。

KVキャッシュが構造的ボトルネックとして特定される

講義は、KVキャッシュがTransformer推論の不親和性の構造的根源であり、SSM、線形注意、拡散ベースの非自己回帰生成を含む当初から推論向けに設計されたアーキテクチャがこの分野の最大の改善空間である可能性があると結論付けている。

Source posts