XNews

コンテキストエンジニアリングとLLMの一般化限界

コンテキストエンジニアリングとLLMの一般化限界

コンテキストエンジニアリング技術は、LLMの推論コスト、メモリ、および脆弱性に対処します。

Key insights

Gemini 3.0 Proが左手書きベンチマークに失敗し、限られた一般化を明らかにする

評価によると、Gemini 3.0 Proは強力なマルチモーダル能力を持ちながらも、「左手書き」ベンチマークを通過できないと報告されています。投稿では、左手書きデータがトレーニング分布にほとんど存在しないため、ターゲットを絞ったトレーニングデータがなければその能力は現れないと述べています。著者は、現在のLLMの能力を不均一で「ギザギザ」と特徴づけ、現在のモデルはテキストにおける人間の知識分布を学習するが、特定のデータなしには未見の分布を発明できないと主張しています。

KV-Cacheの再利用とプレフィックスフリーズが大幅な推論速度向上をもたらす

要約されたManusの記事では、KV-Cacheを保護し、リクエスト間で静的プロンプトプレフィックスを再利用するための「プレフィックスフリーズ」戦略を使用することを推奨しています。要約では、プロンプトの不変部分を変更せずに保持することでKV-Cacheヒットが可能になり、推論速度を10倍以上に向上させることができると述べています。また、システムプロンプトの先頭に動的データ(例:タイムスタンプ)を配置することは避けるべきであり、変更がキャッシュを無効にするため注意が必要です。

明示的状態再現が「途中で忘れる」ことに対抗する

Manusは明示的状態再現を推奨しており、各出力の終わりでモデルに現在のtodoリストと状態を再生成させることを強制します。投稿では、Transformerの注意が始まりと終わりを好むため、重要な状態を最新の位置で繰り返し浮上させることで、モデルが長いタスクチェーンを通じて目標を保持し、中間プロセスでのメモリ喪失を避けることができると説明しています。

エラーコンテキストを負のサンプルとして保持し、ランタイム学習を促進する

Manusの要約では、エージェントはエラーの完全なスタックと失敗したツールの出力をコンテキストの一部として保持すべきであり、削除すべきではないと述べています。このアプローチは、失敗の痕跡をモデルがコンテキスト内で学習できる負の例として扱い、再トレーニングなしで失敗した経路を繰り返す可能性を減少させるものです。これは、コンテキストの包含を通じたランタイム強化として提示されています。

パターンコピーを避けるための例に構造エントロピーを導入する

Manusのガイダンスでは、過度に均一な少数ショットフォーマットがモデルを機械的なパターンコピーに陥らせると警告しています。推奨される修正は、サンプル履歴に意図的な異質性または「構造エントロピー」を導入し、モデルがコンテンツを解釈することを強制することです。

Source posts