未知训练数据会削弱榜单解释力

Bubeck 因不知道 GPT-4 的训练数据而不愿仅靠公开基准推断能力；Howard 则指出榜单可能混入训练泄漏且与使用场景脱节。两者都要求在公开分数之外设计新的实际任务检验。

沿同一来源继续阅读

对照原文

we don't know what gpt4 was trained on I don't know what gpt4 was trained on

some of the questions from these things actually leaks through to some of the training sets

不表示所有基准失效，也不证明 GPT-4 或某个榜单模型存在泄漏；共同点是评测解释需要考虑未知训练重叠。