XNews

OpenWiki 自己修正メモリシステム

OpenWiki 自己修正メモリシステム

LangChainが開発したプロジェクト「OpenWiki」は、ソースコードの変更に伴い知識が陳腐化する問題に対処する自己修正メモリシステムを開発した。このシステムは、Wikiコンテンツをコードからのバージョン付き証拠に紐づけられたクレームとして構造化する。3層設計は、グラウンディング(すべての事実クレームをバージョン追跡付きのサポートコードにリンク)、陳腐化検出(保存された証拠バージョンを現在のバージョンと比較し、潜在的に陳腐化したクレームをフラグ付け)、および修正ループ(陳腐化したクレームを再検証し、更新または修正)から成る。陳腐化検出はモデル呼び出しなしで決定論的に実行されるため、数千のクレームがあっても高速である。修正ループは通常のWiki更新に統合されており、エージェントはページ読み取り時に陳腐化したクレームに遭遇し、通常業務の一環として対処する。これにより、コストモデルは総クレーム数ではなくコード変更に応じてスケールする。評価では、陳腐化したクレームが80から9に減少し、すべての幻覚クレーム(15から0)が排除された。

Key insights

長期記憶には「いつ忘れるか」を知ることが必要

メモリシステムにおける重要な能力は、情報を保存することだけでなく、情報がいつ信頼できなくなるかを知ることである。現在のエージェントメモリの議論は作成と検索に焦点を当てているが、ソース事実の変化に伴うメモリのドリフトや汚染の問題を軽視している。OpenWikiは、不確実性を持続させることでこれに対処する。陳腐化したクレームは検証されるまでフラグが付けられ、静かに破棄されることはない。

決定論的陳腐化検出がスケーラブルな検証を可能に

陳腐化検出メカニズムは、モデルを呼び出さずに保存された証拠バージョンと現在のバージョンを比較するため、高速で決定論的である。陳腐化は状態として保存されるのではなくリアルタイムで導出され、検証が行われるまで不確実性が自然に持続する。この設計により、数千のクレームがあっても、システムはどの知識を再検討すべきかを迅速に特定できる。

修正コストは知識量ではなくコード変更に比例

システムの洗練されたコストモデルにより、エージェントは実際のコード変更の影響を受けるクレームにのみ労力を費やす。陳腐化したクレームは通常の更新時にページコンテンツと共に提示され、エージェントは通常のワークフローの一部として再検証を行う。これにより、Wiki全体を最初から再生成するという高コストなアプローチを避け、必要な箇所に正確に労力を集中できる。

Source posts