XNews

ContextPilot:8Bモデルがメモリを学習し、128Kコンテキストウィンドウを凌駕

清華大学、Tencent YouTu、上海AI研究所がContextPilotを発表。これは、ツールセット補完、SFTデータ合成、カスタムRLを通じて8Bモデルにメモリ管理を学習させるフレームワークである。その結果得られたシステムは、自身の128Kコンテキスト版を上回る性能を示し、より長いコンテキストウィンドウが必ずしも優れているとは限らないことを示している。

Source posts