[1hr Talk] Intro to Large Language Models
字幕解读
Karpathy 用 Llama 2 说明大语言模型的组成、推理和训练成本，将预训练比作对互联网文本的有损压缩，并拆解助手微调、偏好比较与人类反馈。随后讨论规模规律、借助浏览器和计算器等工具、多模态输入输出，以及系统二推理、自我改进和任务定制等方向。后半聚焦越狱、提示注入和数据投毒，说明新能力同时扩展攻击面。
自动字幕 · 引文按字幕原文展示，可点时间戳回看片段。
内容要点
- 预训练通过下一词预测把大量文本中的规律压进参数；微调再用高质量问答和偏好比较塑造助手回答方式，两个阶段的成本与用途不同。
- 模型的能力不仅来自文本生成，也包括调用浏览器、计算器、代码环境及处理图像、音频等输入输出；讲者用操作系统类比来描述这一工具编排趋势。
- 模型安全会遇到越狱、提示注入和数据投毒等攻击；过滤或修补单一案例并不能消除攻击者换编码、改载荷后的对抗。
视频章节 6
- 语言模型：文件、推理与训练
- 预训练：预测、压缩与知识
- 微调、助手行为与人类反馈
- 规模规律、工具调用与多模态
- 未来方向：系统二、自我改进和定制
- 安全挑战：越狱与提示注入
具体观点与证据 4
知道模型架构和训练方法不等于理解参数如何协作，需要行为评估。
讲者讨论当时模型可解释性的缺口，未宣称所有内部机制都完全不可研究。
we don't know how these parameters collaborate to actually perform that预训练学习大规模文本规律，助手微调则以高质量对话塑造回答形式。
这是演讲的两阶段概括，偏好比较又可作为后续训练。
we swap out the data set now and we train on these Q&A documents浏览、计算器与代码工具把语言模型扩展为协调已有计算资源的系统。
操作系统是帮助理解的类比，不意味着模型具备传统OS的隔离保障。
using tools and existing Computing infrastructure and tying everything together提示注入会把检索来的外部内容伪装成新指令，能力扩展也带来新攻击面。
所述案例属于演讲时的研究，讲者指出许多具体攻击随后会被修补。
prompt injection is about hijacking the large language model giving it what looks like new instructions补充字幕原文 2
演讲用下一词预测概括预训练目标，并把它与对大量文本的压缩联系起来。
it's just a next word prediction neural network演讲将提示注入描述为把外部文本伪装成新指令，以劫持模型当前任务。
prompt injection is about hijacking the large language model解读边界
演讲以当时模型和现场演示为例，参数规模、成本、排行榜及功能状态均有时间性；复杂概念由讲者简化讲解，字幕的模型名称和术语存在 ASR 错误，图示和代码细节未在文本中完整呈现。
相关视频与证据 2
风险与机制解释可运行的模型不等于可解释的决策机制
Mickens警告将不透明模型接入金融等重要系统；Karpathy具体区分已知的网络数学架构与尚不清楚的参数协作机制，并强调实证评估。这为高影响部署为何需要额外审查提供技术背景。
USENIX Security '18-Q: Why Do Keynote Speakers Keep Suggesting That Improving Security Is Possible? ↗
模型的不透明本身未必是问题，但接入高影响决策和敌对网络后风险显著。
you connect that inscrutable thing to important real life things like financial markets▶ 16:27–16:37 · 观看片段[1hr Talk] Intro to Large Language Models
知道模型架构和训练方法不等于理解参数如何协作，需要行为评估。
we don't know how these parameters collaborate to actually perform that适用边界 两讲时点和对象不同；不透明并不自动否定一切模型应用，也不能由此断言所有内部机制完全未知。
跨领域边界问题不可信输入进入处理路径前，边界应在哪里
提示注入演示外部内容被误当成新指令；LangSec则展示在完整识别输入前交错执行处理逻辑，会产生攻击者可利用的状态转换。两者可作为输入边界设计的对照，不能据此推出相同攻击机制或相同修复办法。
[1hr Talk] Intro to Large Language Models
提示注入会把检索来的外部内容伪装成新指令，能力扩展也带来新攻击面。
prompt injection is about hijacking the large language model giving it what looks like new instructions28c3: The Science of Insecurity ↗
输入识别必须先完整完成，再交给业务处理，避免半验证状态成为攻击者可编程的机器。
if you haven't recognized it don't goddamn process it▶ 25:04–25:15 · 观看片段适用边界 自然语言提示注入不能简单用形式语法解析彻底解决；两者共享边界原则，攻击机制并不等价。