XNews

斯坦福CS336第10讲探讨从架构到系统的推理优化

斯坦福CS336第10讲探讨从架构到系统的推理优化

斯坦福CS336课程发布了第10讲“推理”,由Percy Liang教授主讲,位于“缩放定律”与“缩放定律II”两讲之间。该讲座梳理了一条数学链条:从自回归到低算术强度,再到内存受限执行,并将所有优化都归结为减少每一步在架构、算法和系统层面移动的字节数。讲座得出结论:KV缓存是Transformer推理低效的结构性根源,而从一开始就为推理设计的架构(如SSM、线性注意力和基于扩散的非自回归生成)可能为该领域提供最大的改进空间。

事件版本 1.

Key insights

数学链条框定所有优化

讲座的逻辑顺序为:自回归、无法沿序列并行、低算术强度、内存受限执行,最后归结为所有优化都等同于减少每一步移动的字节数。

架构层技术是有损的

GQA、MLA和CLA降维、局部注意力截断、量化以及剪枝/蒸馏都旨在缩小KV缓存和参数,且需要评估以证明精度未受损害。

推测采样提供无损加速

推测采样利用验证比生成更快的非对称性,在不损失精度的情况下获得精确加速。

系统层将操作系统理念移植到GPU服务

连续批处理、分页、前缀共享和写时复制将经典操作系统概念迁移到GPU服务中。

KV缓存被认定为结构性瓶颈

讲座得出结论:KV缓存是Transformer推理不友好的结构性根源,而从一开始就为推理设计的架构(包括SSM、线性注意力和基于扩散的非自回归生成)可能是该领域最大的改进空间。

Source posts