The spelled-out intro to neural networks and backpropagation: building micrograd
Andrej Karpathy在 YouTube 播放 ↗
从这部视频出发 主题阅读 · 1
软件测试为什么测试全绿，程序还是错了？→字幕解读
本课从标量函数的数值导数讲起，逐步实现 micrograd 的值节点、表达式图与反向传播，借助链式法则计算梯度，再搭建神经元、多层感知机和损失函数并用梯度下降训练分类器。演示还指出梯度未清零会造成训练异常，并说明张量主要带来计算效率提升。
自动字幕 · 引文按字幕原文展示，可点时间戳回看片段。
内容要点
- 反向传播可视为在表达式图上从输出反向应用链式法则，累积各节点对损失的梯度。
- 神经网络训练由前向预测、损失计算、反向求导和参数更新构成，需要重复迭代。
- micrograd 用标量表达数学核心以利理解；实际大规模计算借助张量并行提升效率。
视频章节 6
- 课程目标与 micrograd
- 用数值变化理解导数
- 表达式图与链式法则
- 搭建多层感知机
- 训练循环与梯度清零
- 总结及 PyTorch 对照
具体观点与证据 4
反向传播是沿计算图反向递归应用链式法则，并不专属于神经网络。
演示标量自动微分；张量实现主要改变执行效率。
back propagation is is just a recursive application of chain rule backwards through the computation graph同一变量参与多条路径时，各路径贡献的梯度必须累加。
单次反向传播内部的多变量链式法则。
we have to accumulate these gradients these gradients add训练迭代前应清零旧梯度，否则新一轮反传会叠加上轮梯度。
本演示普通梯度下降循环；有意跨批累计梯度是另一种安排。
these gradients just add up and they never get reset to zero简单样本上训练成功不能证明实现无错，因为错误梯度也可能碰巧拟合。
讲者用忘记清零却收敛的实际错误说明验证局限。
you may have lots of bugs in the code and uh your network might actually work补充字幕原文 2
micrograd 的反向传播按链式法则计算损失对网络权重的梯度。
efficiently evaluate the gradient of some kind of a loss function梯度为零意味着该变量在当前点的微小变化不会改变损失。
changing this variable is not changing the loss function解读边界
演示使用小型标量引擎和极小分类数据集，主要用于理解机制；不涵盖生产训练所需的张量效率与完整工程细节。
相关视频与证据 1
结构到训练先看网络怎样计算，再看它怎样学
3Blue1Brown 解释前馈网络如何逐层传递激活并把输入映射到输出；micrograd 则演示前向计算、损失、反向梯度和参数更新。前者回答网络在算什么，后者补上如何依据误差改变参数。
But what is a neural network? | Deep learning chapter 1 ↗
一层的激活决定下一层激活，整个网络可看作输入到输出的函数。
the entire network is just a function▶ 15:39–15:43 · 观看片段The spelled-out intro to neural networks and backpropagation: building micrograd
训练通过损失计算、反向求导和参数更新反复进行。
efficiently evaluate the gradient of some kind of a loss function适用边界 两者是不同模型规模和讲解目的的教学材料；micrograd 用标量演示数学机制，不是前一视频数字分类网络的完整训练复现。