XNews

vLLM PagedAttention: プロンプトキャッシングはブロックハッシュを介してコンテンツを再利用する

vLLM PagedAttention: プロンプトキャッシングはブロックハッシュを介してコンテンツを再利用する

shao__mengはvLLM PagedAttentionに基づくプロンプトキャッシングを分析し、キャッシングがユーザーセッションベースではなく、コンテンツベース(グローバル再利用)であることを示しています。プリフィル(KVキャッシュ)は計算負荷が高く、デコーディングはメモリ帯域幅に依存しています。キャッシュヒットはプリフィルコストを約10倍削減する可能性があります。PagedAttentionはKVを親依存のブロックハッシュとグローバルルックアップを用いてブロックに分割します。実用的なヒントとしては、安定したプレフィックスを維持し、決定論的シリアル化を使用し、追加のみの履歴を採用し、動的なツール定義の変更を避けることが挙げられます。

Source posts