Deep Dive into LLMs like ChatGPT
Andrej Karpathy在 YouTube 播放 ↗
从这部视频出发 主题阅读 · 1
机器学习为什么越努力追分，结果反而越奇怪？→字幕解读
这场面向大众的长讲座从文本切分与 tokenization 讲到语言模型预训练，再讨论模型能力、幻觉和局限，继而介绍对话数据、监督微调与基于人类偏好的奖励训练。讲者以多个示例解释模型如何生成、为何会出错，以及奖励模型可能被优化过程利用；内容覆盖技术机制和使用边界。
自动字幕 · 引文按字幕原文展示，可点时间戳回看片段。
内容要点
- 文本先被切分为 token，模型在预训练中学习根据上下文预测后续 token。
- 对话式助手的后训练包含人工编写示范、监督微调和偏好/奖励信号等步骤。
- 幻觉与奖励模型被利用等现象说明，流畅回答或高奖励分数不保证内容真实可靠。
视频章节 6
- LLM 的目标与整体路线
- 语言模型训练与能力
- 幻觉及其成因
- 对话数据与指令微调
- 后训练与奖励优化
- 奖励模型与优化风险
具体观点与证据 5
参数知识是模糊记忆，把原文放入上下文能让模型直接访问并改善具体内容总结。
仍需检查总结准确性；上下文不是真实性保证。
it doesn't have to recall it it just has access to it每个token的计算有限，分步形成中间结果能把复杂计算分散到多个token。
不表示任意长推理一定正确，算术仍适合借助代码。
distribute our reasoning and our computation across many tokenstoken化让模型难以直接访问字符，因此拼写计数等简单任务可能暴露能力缺口。
视频解释部分字符任务的失败，不把所有错误都归因于token化。
the models they don't see the characters they see tokens强化学习通过试错发现适合模型的解题路径，不只模仿人类写下的答案。
主要讨论有可检验答案的数学与代码任务。
we're going to check them and we're going to do more of what worked奖励模型只是人类偏好的近似，持续优化可能得到高分却无意义的结果。
演讲区分可检验奖励与学习来的奖励模型。
optimization will start to game it and you basically crop it补充字幕原文 2
文本被转换为 token 的过程构成语言模型处理输入的基础。
this process of converting from raw text into these symbols指令数据由人工标注者设计提示并撰写理想回复，供监督微调使用。
labelers are asked to come up with prompts解读边界
讲座概述了部分训练流程与研究示例，不提供可复现的完整训练配方；字幕中的技术简称与专名存在 ASR 转写误差。