Transformers, the tech behind LLMs | Deep Learning Chapter 5
3Blue1Brown在 YouTube 播放 ↗
字幕解读
本章从 GPT 的逐 token 预测讲起，概览文本如何变成 token 向量、经过注意力与前馈层更新，最终由输出分布采样生成内容。随后补充深度学习的共同计算形式：实数张量经过带可训练权重的矩阵运算；区分模型权重与每次运行的数据。重点解释嵌入矩阵如何把词映射到高维向量，训练可使向量方向编码语义及上下文关联；最后介绍点积相似度、输出层、softmax 与温度采样，为下一章注意力机制铺垫。
英文字幕轨道 · 引文按字幕原文展示，可点时间戳回看片段。
内容要点
- 自回归语言模型反复预测下一个 token 并采样追加，从而生成长文本；聊天形式还需相应训练步骤。
- Transformer 的主要计算可理解为多层矩阵运算，权重是训练得到、决定行为的参数，输入数据则随每次运行变化。
- 词嵌入向量的方向和点积可呈现语义关系；softmax 把 logits 转成概率分布，温度调节分布平滑程度。
视频章节 6
- GPT 与逐 token 生成
- Transformer 数据流概览
- 深度学习的参数化计算
- Token 与嵌入矩阵
- 向量方向与语义关系
- 输出概率、softmax 与温度
具体观点与证据 3
注意力根据上下文选择相关词来更新词向量，因此同一 token 在不同句子里可以获得不同的具体含义。
此集是注意力概览，并未完整展开其计算。
The attention block is what's responsible for figuring out which words in context are relevant to updating the meanings of which other words,模型权重由训练学得并决定行为，而推理中的激活向量编码本次输入；两者不能混为一谈。
针对演示的 Transformer 前向计算。
The weights are the actual brains, they are the things learned during training,提高采样温度可增加不常见 token 的机会，但示例也因此退化为无意义故事；更随机并不保证更好的创造性。
采样行为的示例，不是所有高温输出必然无意义。
A higher temperature gives it a chance to choose less likely words, but it comes with a risk.补充字幕原文 2
作者区分模型权重与输入数据，强调权重是在训练中学得、决定模型行为的部分。
The weights are the actual brains, they are the things learned训练后的嵌入空间中，方向可能对应语义关系；后文用词向量差与近邻搜索作说明。
directions in the space have a kind of semantic meaning解读边界
本章是视觉化概览，作者明确省略部分归一化和训练细节；所示词向量类比模型并非 Transformer 实例，嵌入算术只是直观示例。
相关视频与证据 1
数学对象到模型表示几何向量走进词嵌入空间
向量视频解释向量作为几何量与数值列表的不同视角；Transformer 讲解展示训练后的词嵌入也是向量，其方向能呈现语义关系。连接起来能帮助观众把“语义空间”理解成具体的向量表示，而不是隐喻。
Vectors | Chapter 1, Essence of linear algebra ↗
向量可从几何和数字列表等相关视角理解，视角间可以转换。
the ability to translate back and forth between them▶ 8:45–8:49 · 观看片段Transformers, the tech behind LLMs | Deep Learning Chapter 5
训练得到的词嵌入向量方向可呈现一定语义关系。
directions in the space have a kind of semantic meaning适用边界 通用向量的几何性质不会自动赋予语义；语义结构来自模型训练，视频展示的是特定嵌入例子。