预测下一个词的预训练，还不是教模型怎样回答用户
两端都区分续写与助手训练，没有断言所有助手必须用同一种后训练算法。
沿同一来源继续阅读
从补全序列，分别走向实现与使用 →两段都以补全序列或预测后续词解释语言模型的基本任务。可以以共同定义为起点，分别进入从头构建模型与通过代码使用模型的讲解。Dropout 的共享子网络机制落到 GPT 训练 →Hinton 把 dropout 解释为许多共享权重的子网络；Karpathy 在 GPT 教程中每轮随机屏蔽节点，并在测试时启用完整网络，提供同一正则化机制的具体实现。从逐层激活到因果注意力 →基础神经网络视频用逐层激活解释输入如何影响输出；GPT 从头构建视频进一步展示因果自注意力如何聚合此前 token，并逐步组成 Transformer。连接可帮助观众辨认现代语言模型保留了神经网络的层间计算框架，同时增加了序列上下文机制。
对照原文
it takes the model from being a document completer to a question answererwe swap out the data set now and we train on these Q&A documents