XNews

DeepEvalがJevEvalをリリース、生成的LLMジャッジを構造的意思決定に置き換え

DeepEvalがJevEvalをリリース、生成的LLMジャッジを構造的意思決定に置き換え

DeepEvalはJevEvalをリリースした。これは生成的LLMジャッジをJevに置き換え、LLM評価を生成的判定から構造的意思決定へと変換する評価フレームワークである。このフレームワークは評価ロジック、意味的判断、スコア計算を分離し、Jevは生成テキストの代わりに確率分布を返し、DeepEvalは固定された決定論的公式を適用する。二値命題用のNoul、順序付きグレード用のScore、非順序の行動選択用のChoiceという3つの決定タイプをサポートし、Tool Faithfulnessなどのエージェント評価に適用される。

イベントのバージョン 3.

Key insights

評価段階の分離

JevEvalは評価を3段階に分ける。人間が明示的でレビュー可能な評価ロジックを定義し、Jevがテキストを生成せずに確率分布を返すことで意味的判断を行い、DeepEvalが固定された決定論的公式を用いてスコアを計算する。

3つの決定タイプ

Noulは二値命題を扱い、チェックリスト形式のチェック用にP(true)を返す。Scoreは順序付きグレードを扱い、各レベルの確率を返し、正規化された期待位置を取る。Choiceは非順序の行動選択を扱い、各オプションに0~1のクレジットを割り当て、確率が50%以上の場合に該当なしオプションをサポートする。

エージェント評価への応用

Tool Faithfulnessでは、JevEvalは評価を4つの明示的な質問に分解する。事実がツールに由来するか(重み2)、数値の転記精度、全体的な根拠性、ツールが提供しない情報の処理をカバーする。重みと優先順位はプロンプトに暗黙的にではなくコードに記述される。

従来のジャッジの限界

従来のLLM-as-a-judgeは、生成モデルが評価ロジックを定義し、判断を行い、1回の呼び出しでスコアを計算する。これにより、0.71対0.66のような解釈不能なスコア差や、同じ入力でも実行ごとに異なるスコアが得られる不安定な結果が生じる。

Source posts