Dropout 的共享子网络机制落到 GPT 训练
Hinton 把 dropout 解释为许多共享权重的子网络；Karpathy 在 GPT 教程中每轮随机屏蔽节点，并在测试时启用完整网络，提供同一正则化机制的具体实现。
沿同一来源继续阅读
对照原文
all of these architectures are sharing the same weights, which is regularizing them a lot.training an ensemble of sub networks and then at test time everything is fully enabled测试时启用完整非线性网络并不等于显式平均所有子网络；也不能把教程多项扩容带来的效果单独归因于 dropout。