从逐层激活到因果注意力
基础神经网络视频用逐层激活解释输入如何影响输出；GPT 从头构建视频进一步展示因果自注意力如何聚合此前 token，并逐步组成 Transformer。连接可帮助观众辨认现代语言模型保留了神经网络的层间计算框架，同时增加了序列上下文机制。
沿同一来源继续阅读
从神经网络结构走到可演化的网络拓扑 →But what is a neural network? 解释层间激活如何传递，并把整个网络描述为输入到输出的函数；MarI/O 展示 NEAT 从基础网络开始，通过适应度筛选和演化连接结构来学习游戏操作。前者提供网络的计算视角，后者给出网络结构如何在特定任务中演化的实例。先看网络怎样计算，再看它怎样学 →3Blue1Brown 解释前馈网络如何逐层传递激活并把输入映射到输出；micrograd 则演示前向计算、损失、反向梯度和参数更新。前者回答网络在算什么，后者补上如何依据误差改变参数。从补全序列，分别走向实现与使用 →两段都以补全序列或预测后续词解释语言模型的基本任务。可以以共同定义为起点，分别进入从头构建模型与通过代码使用模型的讲解。
对照原文
the heart of the network as an information processing mechanismyou can do weighted aggregations of your past ElementsGPT 视频讲的是 Transformer 语言模型，不能把基础手写数字网络的结构直接等同于 GPT；该连接只指逐层计算这一抽象层次。