XNews

PicoLM:低コストハードウェアでの軽量LLM推論

PicoLM:低コストハードウェアでの軽量LLM推論

PicoLMは、依存関係ゼロで約80KBの単一ファイルにコンパイルされた純粋なC言語製の推論エンジンです。256MBのRAMを搭載した10ドルの開発ボード上で、45MBのメモリを使用して10億パラメータモデルを実行します。推論速度は、Raspberry Pi 5で約10トークン/秒、Pi 4で約8トークン/秒、10ドルのボードで約1トークン/秒です。PicoClawと組み合わせることで、オフラインエージェントを構成します。ディスク上のコンテキストキャッシュにより、繰り返しプロンプトで74%の高速化を実現します。ARMおよびx86の命令レベル最適化が含まれています。ソースコードはGitHubで公開されています。

Key insights

超軽量C言語推論により、極めて制約の厳しいハードウェアでのLLM展開が可能に

PicoLMの80KB、依存関係ゼロの設計により、256MBのRAMと10ドルという価格帯のデバイスでも推論が可能です。このプロジェクトは、ネットワーク接続なしで言語タスクを処理できる完全オフラインエージェント(PicoClaw)を実証しており、組み込みAIの可能性を広げています。

Source posts