Hacker[1hr Talk] Intro to Large Language Models
Andrej KarpathyYouTube ↗
延伸阅读 3
输入从哪一步变成了指令？ →拼错的表达式有时恰好合法；看似只装数据的格式也可能执行计算。顺着输入往里走，找出究竟是谁决定它的含义。本片参与的问题 · 不可信输入进入处理路径前，边界应在哪里预测下一个词，离回答一个人还有多远？ →把三个问题分开：输入如何变成表示，训练如何改变网络，一个善于续写的模型又如何成为助手。否则很容易拿其中一层解释全部行为。本片参与的问题 · 预测下一个词的预训练，还不是教模型怎样回答用户一次成功演示能支持多大的结论？ →程序给出了期待的输出。从「它做到了」到「它一定能做到」，中间隔着测试分布、形式假设和真正的使用场景。这些界限在部署压力出现时尤其容易被忽略。本片参与的问题 · 可运行的模型不等于可解释的决策机制
字幕解读
Karpathy 用 Llama 2 说明大语言模型的组成、推理和训练成本，将预训练比作对互联网文本的有损压缩，并拆解助手微调、偏好比较与人类反馈。随后讨论规模规律、借助浏览器和计算器等工具、多模态输入输出，以及系统二推理、自我改进和任务定制等方向。后半聚焦越狱、提示注入和数据投毒，说明新能力同时扩展攻击面。
自动字幕 · 引文按字幕原文展示，可点时间戳回看片段。
内容要点
- 预训练通过下一词预测把大量文本中的规律压进参数；微调再用高质量问答和偏好比较塑造助手回答方式，两个阶段的成本与用途不同。
- 模型的能力不仅来自文本生成，也包括调用浏览器、计算器、代码环境及处理图像、音频等输入输出；讲者用操作系统类比来描述这一工具编排趋势。
- 模型安全会遇到越狱、提示注入和数据投毒等攻击；过滤或修补单一案例并不能消除攻击者换编码、改载荷后的对抗。
视频章节 6
- 语言模型：文件、推理与训练
- 预训练：预测、压缩与知识
- 微调、助手行为与人类反馈
- 规模规律、工具调用与多模态
- 未来方向：系统二、自我改进和定制
- 安全挑战：越狱与提示注入
具体观点与证据 4
知道模型架构和训练方法不等于理解参数如何协作，需要行为评估。
讲者讨论当时模型可解释性的缺口，未宣称所有内部机制都完全不可研究。
we don't know how these parameters collaborate to actually perform that预训练学习大规模文本规律，助手微调则以高质量对话塑造回答形式。
这是演讲的两阶段概括，偏好比较又可作为后续训练。
we swap out the data set now and we train on these Q&A documents浏览、计算器与代码工具把语言模型扩展为协调已有计算资源的系统。
操作系统是帮助理解的类比，不意味着模型具备传统OS的隔离保障。
using tools and existing Computing infrastructure and tying everything together提示注入会把检索来的外部内容伪装成新指令，能力扩展也带来新攻击面。
所述案例属于演讲时的研究，讲者指出许多具体攻击随后会被修补。
prompt injection is about hijacking the large language model giving it what looks like new instructions补充字幕原文 2
演讲用下一词预测概括预训练目标，并把它与对大量文本的压缩联系起来。
it's just a next word prediction neural network演讲将提示注入描述为把外部文本伪装成新指令，以劫持模型当前任务。
prompt injection is about hijacking the large language model解读边界
演讲以当时模型和现场演示为例，参数规模、成本、排行榜及功能状态均有时间性；复杂概念由讲者简化讲解，字幕的模型名称和术语存在 ASR 错误，图示和代码细节未在文本中完整呈现。