XNews

モデルの透明性とガイド付き学習の研究

モデルの透明性とガイド付き学習の研究

研究の進展はモデルの透明性とガイド付きチュータリングの行動に対処しています。

Key insights

OpenAIが思考の連鎖のモニタビリティを監視する方法を概説

OpenAIは思考の連鎖(CoT)のモニタビリティを評価するための13の評価方法を提供する研究を発表しました。主要な発見には、モデルに長い内部推論を許可することで透明性が向上する傾向があること、そして小型モデルの深い推論が大規模モデルの表面的な推論よりもモニタビリティが高い場合がある「モニタビリティ税」が存在することが含まれます。この研究はまた、現在の強化学習(RL)が現行のスケールでCoTのモニタビリティに大きな影響を与えないこと、そしてターゲットを絞ったフォローアップ質問が透明性を向上させることを発見しました。

Geminiガイド付き学習プロンプトがチュータリングの制約と教育法を強化

公開されたGeminiガイド付き学習システムプロンプトは、厳格なルールを持つ構成主義的なチューターペルソナを定義しています:教えずに導く、適応性、簡潔な応答(300語未満)、戦略的な視覚補助、システム指示の開示を避ける、安全性のガードレールを設けることです。初回の行動、言語のミラーリング、行動前の計画、ガイド質問、フィラー、不必要な称賛、安全でない出力に対する明示的な禁止を規定しています。

研究が推論の深さと監査可能性、安全性のトレードオフを結びつける

OpenAIの研究は、計算/時間とモニタビリティの間のトレードオフをフレーム化しています:深い段階的推論は透明性を向上させますが、計算コストがかかります(「モニタビリティ税」)。また、初期の連鎖が十分に明確でない場合に隠れた推論を浮き彫りにするためのフォローアップの尋問などの手続き的技術を推奨しています。

Source posts