KarpathyのLLM Councilオープンソースプロジェクト

Karpathyがオープンソースで提供するllm-councilは、マルチモデルの議会形式の質問応答を実現します。
Key insights
llm-councilの三段階ワークフローと実装
llm-councilは三段階のワークフローを実現しています。第一段階では、いくつかのLLMが独立して初期応答を生成します。第二段階では、モデルが匿名で相互評価を行い、すべての応答にスコアを付けます。第三段階では、指定された「議会議長」モデル(デフォルトはGemini-3-Pro)が最終的な回答を統合して出力します。このアプリケーションはローカルで動作するウェブアプリで、バックエンドはPython、フロントエンドはReactを使用し、会話履歴はJSON形式で保存され、OpenRouter APIに接続することで動作します。このプロジェクトは、実験的であり、製品レベルの堅牢性を備えたツールではないと位置付けられています。
モデル相互評価によって明らかになった好みの違い
llm-councilの相互評価ステップでは、モデル間の評価に体系的な違いが観察されました。著者の実践では、AIのスコアリング結果が人間の主観的評価と一致しないことがありました。たとえば、著者はGemini-3-Proの回答がより洞察に満ちていると感じましたが、AIシステムの相互評価はGPT-5.1の回答を好む傾向がありました(問題そのものにより焦点を当てている)。Karpathyも、モデルの相互評価において「謙虚さ」や相互認識がしばしば見られることに気づき、マルチモデル統合設計の新しい観察の視点を提供しています。
モデルランキングと主観的比較の結論
長期的な実践と比較の結果、著者が示した主観的なモデルランキングは、Gemini-3.0 Pro > GPT-5.1 > Claude Sonnet 4.5 > Grok 4.1です。著者の主観的評価はKarpathyの評価と一致しています。GPT-5.1は良好なパフォーマンスを示しますが、Gemini-3.0 Proは複数の次元で優れています。Claudeはシンプルさが際立ち、GrokはClaudeと競争しています。このランキングは、100日間の集中的な実践とKarpathyの観察報告に基づいています。
使いやすさ、デプロイメント、コストの問題
llm-councilのコードはローカルで実行でき、OpenRouterキーを設定すれば起動できますが、実際にはコストが高い問題があります。複数のモデルを実行し、APIを呼び出すことで、かなりのクォータを消費します。あるユーザーは、個人のサブスクリプションクォータを利用して別々のAPIコストを削減するためにChrome拡張機能を開発することを提案しました。現在期待される機能には、共有機能が含まれています。
プロジェクトの位置付けと設計のポイント
このプロジェクトはKarpathyの「vibe coding」週末プロジェクトとして説明されており、実験性とカスタマイズ性を強調しています。主な機能には、並行したマルチモデル応答、匿名相互評価メカニズム、議長による最終応答の合成、ローカルの会話アーカイブが含まれます。このプロジェクトは、LLMを使用して読み取りを支援し、「LLMに理解させる」ことを未来の執筆の方向性として強調し、マルチモデルの組み合わせが単一モデルのバイアスを減少させると考えています。