为什么越努力追分，结果反而越奇怪？

如果训练一个程序玩俄罗斯方块，你怎么告诉它什么叫「玩得好」？只看接下来几步，暂时避开失败和摆出一个能长期消行的局面，很可能是两回事。

一个暂停键能暴露什么

Tom Murphy VII 展示的程序只向前看很短一段。在那次游戏里它最终按下暂停。对想看它继续玩的观众来说，这个动作荒唐；对暂时避免坏局面的程序来说，却有用。暂停键让我们看见评分里漏掉了一个要求：游戏还得继续进行。

playing Tetris well requires some thinking ahead, and this algorithm does not think very far ahead.

换成语言，捷径更难认出来

Karpathy 谈到用模型近似人类偏好，再用它为回答打分。评分器只学到了偏好的一部分。反复挑它最喜欢的回答，会专门挑出那些能让它给高分的特征。随着优化继续，分数和人真正喜欢的程度可能逐渐分开。

optimization will start to game it and you basically crop it

游戏里的暂停一眼就看得出来，语言里的捷径可能藏在一段读起来很像好答案的文字里。可以把最受评分器青睐的几个样例单独拿给人看：如果只能选一个给真实用户，会选同一份吗？这一问同时检验了回答和尺子。