LangChain、AIエージェント向けの3段階の評価駆動型開発プロセスを詳述

LangChainは、AIエージェントを構築するための3段階の評価駆動型開発プロセスを概説した。すなわち、何が優れているかを定義し、構築前に評価を書き、変更をベースラインと比較する。社内ドキュメントアシスタントの例では、ITチケットツールを追加すると合格サンプルが8件中5件から7件に増えたが、VPNに関する質問に対して誤ってチケットを開いてしまい、ツールの説明を狭めた後、8件すべてが合格した。
イベントのバージョン 1.
Key insights
3段階のEDDプロセス
LangChainの評価駆動型開発プロセスは、エージェントにとって何が優れているかを定義し、構築前に評価を書き、変更を行ってベースラインと比較することで構成される。
評価は従来のテストとは異なる
エージェントは非決定的であるため、出力は変動し、複数の答えが正しい場合があり、エージェントは自らステップを選択する。評価は一連の例にわたって実行をスコアリングし、他のLLMを審査員として使用できる。
ツール追加が明らかにした回帰
ドキュメント検索とWeb検索を備えた社内ドキュメントアシスタントにおいて、ITチケットツールを追加すると合格サンプルが8件中5件から7件に増えたが、相談にとどめるべきVPNのハウツー質問に対してもチケットを開いてしまった。
ツールの説明を狭めることで失敗を修正
実行記録から、ツールの説明がVPNとラップトップの問題を広すぎる範囲でカバーしていることが示された。説明を狭めた後、8件のサンプルすべてが合格し、問題はモデルの能力ではなくツールの説明にあったことが示された。