先看网络怎样计算,再看它怎样学
3Blue1Brown 解释前馈网络如何逐层传递激活并把输入映射到输出;micrograd 则演示前向计算、损失、反向梯度和参数更新。前者回答网络在算什么,后者补上如何依据误差改变参数。
沿同一来源继续阅读
从神经网络结构走到可演化的网络拓扑 →But what is a neural network? 解释层间激活如何传递,并把整个网络描述为输入到输出的函数;MarI/O 展示 NEAT 从基础网络开始,通过适应度筛选和演化连接结构来学习游戏操作。前者提供网络的计算视角,后者给出网络结构如何在特定任务中演化的实例。从逐层激活到因果注意力 →基础神经网络视频用逐层激活解释输入如何影响输出;GPT 从头构建视频进一步展示因果自注意力如何聚合此前 token,并逐步组成 Transformer。连接可帮助观众辨认现代语言模型保留了神经网络的层间计算框架,同时增加了序列上下文机制。为什么测试全绿,程序还是错了? →Gary Bernhardt 的隔离测试和 Andrej Karpathy 的训练演示里,代码出错时,屏幕上都可能传来好消息。
对照原文
the entire network is just a functionefficiently evaluate the gradient of some kind of a loss function两者是不同模型规模和讲解目的的教学材料;micrograd 用标量演示数学机制,不是前一视频数字分类网络的完整训练复现。