LLMの幻覚:原因と緩和策
報告書はLLMの幻覚を定義し、事前学習とファインチューニングからの原因を分析し、検出および緩和技術を調査します。
Key insights
幻覚の定義と分類
投稿は、文脈や外部の事実と一致しないモデル生成コンテンツを幻覚と定義し、文脈幻覚(提供された資料との不一致)と外部幻覚(現実の知識と矛盾するか、不確実性を認めない)に分類しています。この定義は、「幻覚」がモデルエラーの一般的な用語として過剰に使用されていることを強調しています。
トレーニングデータとファインチューニングのダイナミクスが幻覚を引き起こす
大規模なウェブコーパスでの事前学習は、モデルに古くて誤ったコンテンツを露出させます。事前学習後のファインチューニングは、モデルが新しい、まばらに表現された事実を学ぶことを強制されると、幻覚を悪化させる可能性があります。Gekhman et al. 2024は、モデルが「既知」の知識を新しい事実よりも早く学ぶことを発見し、新しい知識を強制することで幻覚率が増加することを示しました。
検出技術:取得、原子チェック、および一貫性
検出アプローチには、知識ベースに対する主張を確認する取得強化検証、FactScore原子事実チェック、SAFEマルチステップ証拠検索、複数のモデル出力を比較して不安定な事実を検出するSelfCheckGPTサンプリング一貫性チェックが含まれます。
緩和策:RAG、検証チェーン、サンプリング、およびファインチューニングの質
報告された緩和策には、RAGおよびRARR(研究後に修正)、モデル駆動の取得決定のためのSelf-RAG、別々の検証質問を通じて主張をテストするCoVe検証チェーン、遅延回答のエラーを減少させるための事実核サンプリング、幻覚を減少させるために高品質の事実データとFactScoreを報酬として使用するFLAMEスタイルのファインチューニングが含まれます。
製品管理はLLMの限界と幻覚リスクを考慮する必要がある
AI製品マネージャー向けのインタビュー形式のガイダンスは、LLMの能力の境界を評価し、高価値のAI機能を選択し、AIの限界を定義し、幻覚のためのフォールバックを設計し(例:出所、ヒューマンインザループ)、メトリクスとモニタリングを使用して幻覚に関連するユーザーの苦情を診断し緩和することを強調しています。