A Hackers' Guide to Language Models
延伸阅读 1 篇
公开考题拿了高分，换道新题还会吗？ →
- 本片 · Jeremy Howard · A Hackers’ Guide to Language Models
公开榜单成绩不等于实际任务效果：指标可能与用途脱节，还可能存在评测问题进入训练集的数据泄漏，应亲自测试目标任务。
- 对照 · Sébastien Bubeck · Sparks of AGI
因不知道训练数据是否含公开基准，Bubeck 主张用跨领域新任务和连续追问探索能力。
对照原文与时间戳
these metrics are not particularly well aligned with real life usage回看原片 59:39–1:00:04 →
we don't know what gpt4 was trained on I don't know what gpt4 was trained on回看原片 17:35–17:49 →
字幕解读
Jeremy Howard 以代码演示语言模型的核心概念和实践：从 token 化、下一词预测及预训练，到指令微调、偏好反馈与提示设计。随后展示 GPT API、对话上下文和函数调用，说明如何让模型借助 Python 等工具；再讲如何在本地运行开源模型、量化权重、搭建检索增强生成，并用 SQL 问答数据集进行微调。演讲强调模型会出错，实际使用仍需评估和检查。
自动字幕 · 引文按字幕原文展示，可点时间戳回看片段。
内容要点
- 语言模型通过预测 token 学到文本中的统计规律；预训练、指令微调和基于偏好反馈的后训练分别承担不同作用。
- API 对话需要把历史消息一并传回；函数调用让模型输出结构化工具请求，由程序执行、检查后再把结果交回模型。
- 本地模型可通过量化降低显存需求；RAG 用检索内容补充上下文，微调则改变模型对特定任务的行为，两者适用目标不同。
视频章节 6
- 语言模型的基本概念与 token
- 预训练：下一词预测和压缩
- 指令微调与偏好训练
- 数据分析、API 与代码工具
- 函数调用与本地模型
- 检索增强生成与任务微调
具体观点与证据 3
公开榜单成绩不等于实际任务效果：指标可能与用途脱节，还可能存在评测问题进入训练集的数据泄漏，应亲自测试目标任务。
2023 年演讲对当时模型榜单的提醒，不是判定任何具体模型作弊。
these metrics are not particularly well aligned with real life usageRAG 的追问若只把省略主题的问题送给检索器，可能检索到别的文档；对话生成器有历史不代表检索器也有历史。
ULMFiT 追问演示；字幕将名称误转写为 new lmfit。
there's no context here being sent to the embedding model so it's actually going to have no idea I'm talking about new lmfit函数调用响应只是函数名称和参数的请求，必须由宿主校验并执行，再将结果送回模型；模型本身没有执行本地函数。
片中 API 调用协议的机制，不作为当前 SDK 语法教程。
it does not actually return the number nine instead it returns something saying please call a function补充字幕原文 2
讲者以预测后续词或补全缺词介绍语言模型的基本任务，并由此引出 token 和预训练。
knows how to predict the next word讲者把先检索相关文档、再将其作为上下文交给模型回答的流程称为 RAG。
this is called retrieval augmented generation解读边界
演讲中的 API 价格、模型排行榜、硬件建议与功能状态属于录制时的示例，时效性较强；字幕含有明显 ASR 错词，且缺少代码、图表和界面画面，不能据此复现每个步骤。模型示范结果不代表可靠性保证。
相关视频与证据 2
共同基础从补全序列，分别走向实现与使用
两段都以补全序列或预测后续词解释语言模型的基本任务。可以以共同定义为起点，分别进入从头构建模型与通过代码使用模型的讲解。
Let's build GPT: from scratch, in code, spelled out. ↗
语言模型接收序列前缀并完成后续内容，核心任务是序列延续。
give it the start of a sequence and it completes the sequence▶ 1:50–2:05 · 观看片段A Hackers' Guide to Language Models
讲者以预测后续词或补全缺词介绍语言模型的基本任务，并由此引出 token 和预训练。
knows how to predict the next word适用边界 共享基础定义不意味着两份教程具有相同深度、架构或 API，也不等于已经理解模型全部行为。
评测警戒未知训练数据会削弱榜单解释力
Bubeck 因不知道 GPT-4 的训练数据而不愿仅靠公开基准推断能力；Howard 则指出榜单可能混入训练泄漏且与使用场景脱节。两者都要求在公开分数之外设计新的实际任务检验。
Sparks of AGI: early experiments with GPT-4 ↗
不知道模型训练集是否包含公开题。
we don't know what gpt4 was trained on I don't know what gpt4 was trained on▶ 17:35–17:49 · 观看片段A Hackers' Guide to Language Models
基准测试问题有时可能泄漏进训练集，榜单也未必贴合真实用途。
some of the questions from these things actually leaks through to some of the training sets适用边界 不表示所有基准失效，也不证明 GPT-4 或某个榜单模型存在泄漏；共同点是评测解释需要考虑未知训练重叠。