Dropout 可理解为训练许多共享参数的子网络
这是一种训练解释；测试时单个网络的预测不必精确等于所有子网络预测的平均值。
沿同一来源继续阅读
Dropout 的共享子网络机制落到 GPT 训练 →Hinton 把 dropout 解释为许多共享权重的子网络；Karpathy 在 GPT 教程中每轮随机屏蔽节点，并在测试时启用完整网络，提供同一正则化机制的具体实现。从补全序列，分别走向实现与使用 →两段都以补全序列或预测后续词解释语言模型的基本任务。可以以共同定义为起点，分别进入从头构建模型与通过代码使用模型的讲解。从逐层激活到因果注意力 →基础神经网络视频用逐层激活解释输入如何影响输出；GPT 从头构建视频进一步展示因果自注意力如何聚合此前 token，并逐步组成 Transformer。连接可帮助观众辨认现代语言模型保留了神经网络的层间计算框架，同时增加了序列上下文机制。
对照原文
all of these architectures are sharing the same weights, which is regularizing them a lot.training an ensemble of sub networks and then at test time everything is fully enabled