PicoLM:在低成本硬件上运行轻量级LLM推理

PicoLM 是一个纯C语言推理引擎,编译后仅约80KB大小,且无任何依赖。它仅需45MB内存即可在售价10美元(256MB RAM)的开发板上运行十亿参数模型。推理速度:树莓派5约10个token/秒,树莓派4约8个token/秒,10美元开发板约1个token/秒。结合PicoClaw,可组成离线代理。磁盘上下文缓存可使重复提示速度提升74%。支持ARM和x86指令级优化。源代码已在GitHub上公开。
Key insights
超精简C语言推理实现LLM在极度受限硬件上的部署
PicoLM通过80KB、零依赖的设计,使得在仅256MB RAM、售价10美元的设备上实现推理成为可能。该项目展示了完全离线的代理(PicoClaw),可在无网络连接的情况下处理语言任务,扩展了嵌入式AI的应用潜力。