Antigravity、Neonキャッシュプールを拡大しヒット率とクォータ出力を向上
Antigravityは、Neonキャッシュプールのサイズを大幅に増加させる変更を展開している。これによりキャッシュヒット率が約4%向上し、クォータ内で完了できる作業量が少なくとも20%増加する。更新完了後にクォータリセットが発行される予定である。これは、以前の設定ではクォータの消費が早かったためである。特にモデル呼び出し間の間隔が長いワークロードではキャッシュが退避され、ヒット率が著しく低かった。
イベントのバージョン 1.
Key insights
キャッシュプールの拡大
Antigravityは、キャッシュヒット率を約4%向上させるために、Neonキャッシュプールのサイズを大幅に増加させている。
クォータ出力の増加
この変更により、クォータ内で完了できる作業量が少なくとも20%増加する。
クォータリセットの予定
以前の設定ではクォータの消費が早かったため、更新完了後にクォータリセットが発行される予定である。
疎なワークロードの退避修正
モデル呼び出し間の時間が長いワークロードではキャッシュが退避され、ヒット率が特に悪かった。この変更はその問題を修正することを目的としている。