colibri通过统一内存流在CPU上本地运行MoE模型,内存低于10GB

colibri通过将GPU、RAM和磁盘视为统一的内存池,按需从磁盘流式加载权重,从而能够在本地运行大型MoE模型。该工具完全用C语言编写,无任何依赖,已在GitHub上获得超过25,000颗星。它支持从35B参数(Qwen3.6)到2.8T参数(Kimi K3)的六个模型系列,每个模型均为单个C文件。演示中,colibri在CPU上以int4量化方式运行了744B参数的GLM-5.2模型,内存占用低于10GB。内置的Web仪表盘可实时可视化19,456个专家的路由情况。