XNews

使用Soup在低显存GPU上微调大模型

使用Soup在低显存GPU上微调大模型

Soup是一款工具,通过将基础模型保存在系统内存中,并每次只将一层流式传输到显存,从而允许在显存极其有限的GPU上微调大语言模型。仅需4 GB显存的笔记本电脑GPU即可微调80亿参数模型,峰值显存占用为3.32 GB,训练结果与标准设置完全一致。使用只需一个配置文件和一条命令;批大小和压缩参数自动选择。作者提供了免费的Colab笔记本以供验证。无需远程服务器或复杂设置,可在游戏笔记本电脑上实现自定义模型训练。

Key insights

Soup通过逐层流式传输突破显存壁垒,实现常用硬件上的微调

该工具将基础模型存储在常规内存中,每次只加载一层到GPU,因此GPU从未同时持有超过一层的参数。这种设计使得在仅有4 GB显存的GPU上微调80亿参数模型成为可能,峰值显存占用仅3.32 GB,且产生的效果与正常微调无法区分。

单命令设置与自动配置降低了自定义模型训练的技术门槛

用户只需一个配置文件和一条命令;Soup自动处理批大小和模型压缩,省去了通常的试错参数调优过程。无需登录远程服务器,该工具可在本地机器上运行。

免费的Colab笔记本验证了可重复性,并邀请验证

开发者发布了一个Colab笔记本,任何人都可以运行微调流程并确认结果,增加了可信度,并使得该方法无需先进行本地设置即可审计。

Source posts