HackerTube ?
子领域索引

如何判断系统真的做对了?

同样是一个好结果,你可能在检查三件不同的事。选一个最接近手头问题的入口。

检查代码和输入

从一个正在通过的测试出发,追到判断规则和当时的数据。

为什么测试全绿,程序还是错了? →Gary Bernhardt 的隔离测试和 Andrej Karpathy 的训练演示里,代码出错时,屏幕上都可能传来好消息。测一条业务规则,为什么要连数据库? →把「谁该收到提醒」单独拿出来,就能分别检查规则是否正确、通知能否送达。用户今天续费了,还能解释昨天那封催缴邮件吗? →一次判断要能重现,除了规则本身,还需要当时交给它的那份数据。

检查衡量结果的尺子

先看考题测到了什么,再看系统主动追分时会发生什么。

公开考题拿了高分,换道新题还会吗? →一张排行榜能帮你挑出值得试的模型。要判断它能否解决你手上的问题,还得知道那些分数是怎么来的。为什么越努力追分,结果反而越奇怪? →游戏程序按下暂停键和语言模型迎合偏好评分,揭示了给优化程序设目标时容易漏掉的条件。