EvolveScaler:基于可执行状态机的信息演化基准

EvolveScaler将信息演化建模为可执行状态机,并生成自然语言日志。它包含117个原型、159个问题操作符和5个难度等级。在最难的等级中,前沿模型的平均中位数avg@5得分为11.3;在该基准上进行训练可使8个基准的平均性能提升+5.25。

EvolveScaler将信息演化建模为可执行状态机,并生成自然语言日志。它包含117个原型、159个问题操作符和5个难度等级。在最难的等级中,前沿模型的平均中位数avg@5得分为11.3;在该基准上进行训练可使8个基准的平均性能提升+5.25。