ContextPilot:8B模型学习记忆,超越128K上下文窗口
清华大学、腾讯优图实验室和上海人工智能实验室推出了ContextPilot,这是一个通过工具集补全、SFT数据合成和定制强化学习来教8B模型管理记忆的框架。最终系统优于其128K上下文版本,表明更长的窗口并不总是更好。
清华大学、腾讯优图实验室和上海人工智能实验室推出了ContextPilot,这是一个通过工具集补全、SFT数据合成和定制强化学习来教8B模型管理记忆的框架。最终系统优于其128K上下文版本,表明更长的窗口并不总是更好。