XNews

Magnitude:本地推理服务器可分析硬件、推荐并自动运行模型

Magnitude:本地推理服务器可分析硬件、推荐并自动运行模型

Magnitude是一款开源推理服务器,能够分析机器的芯片、内存和带宽,然后推荐兼容模型及其预估速度。它会在后台下载、调优并运行模型,仅在需要时加载,闲置或内存压力大时自动卸载。该工具支持自动代理设置:一条命令即可让代理安装工具、选择模型并重新配置以使用本地模型。它可与Claude Code、Codex、OpenCode、Cline等工具配合使用,并预置了推理和并发参数。模型、提示词和文件均保留在设备上;下载完成后可离线工作,非常适合内存较大的Mac用户,以节省API令牌。

Source posts