Karpathy 的 LLM Council 开源项目

Karpathy 开源的 llm-council 实现多模型议会化问答。
Key insights
llm-council 三阶段工作流与实现
llm-council 实现了一个三阶段工作流:第一阶段,若干 LLM 独立生成初始响应;第二阶段,模型匿名互相 peer review 并对所有响应评分;第三阶段,由指定的“议会主席”模型(默认 Gemini‑3‑Pro)综合并输出最终答案。该应用为本地运行的 Web 应用,后端用 Python,前端用 React,对话历史以 JSON 存储,接入 OpenRouter API 即可运行,项目定位为实验性而非生产级鲁棒性完善的工具。
模型互评揭示的偏好差异
在 llm-council 的互评步骤中,观察到模型间评价存在系统性差异:在作者的实践中,AI 的评分结果与人类主观评价不一致,例如作者感觉 Gemini‑3‑Pro 的回答更有启发性,而 AI 系统的互评则更偏好 GPT‑5.1 的回答(更聚焦问题本身)。Karpathy 也注意到模型互评时常出现“谦虚”或相互认可的现象,这为多模型集成设计提供了新的观察角度。
模型排名与主观比较结论
经过长期实践和对比,作者给出的主观模型排序为:Gemini‑3.0 Pro > GPT‑5.1 > Claude Sonnet 4.5 > Grok 4.1。作者与 Karpathy 的主观评价一致:GPT‑5.1 表现很好,但 Gemini‑3.0 Pro 在多个维度上更优;Claude 表现偏简洁,Grok 与 Claude 在末位竞争。这一排序基于 100 天重度实践和 Karpathy 的观察报告。
易用性、部署与成本问题
llm-council 的代码可在本地运行,配置 OpenRouter key 后即可启动,但实测存在成本较高的问题:运行多模型、通过 API 调用会消耗显著额度。一位用户建议可开发 Chrome 扩展以利用个人订阅额度代替单独的 API 消耗,以降低费用并供独立开发者使用。当前期待的功能包括分享功能。
项目定位与设计要点
该项目被描述为 Karpathy 的“vibe coding”周末项目,强调实验性与可定制性。主要功能包括并行多模型响应、匿名互评机制、由主席合成最终回应以及本地对话存档。项目提出了用 LLM 辅助阅读并强调“让 LLM 理解”为未来写作导向的观点,并认为多模型组合可降低单一模型偏差。