HackerA Hackers' Guide to Language Models
Jeremy HowardYouTube ↗
延伸阅读 3
字幕解读
Jeremy Howard 以代码演示语言模型的核心概念和实践：从 token 化、下一词预测及预训练，到指令微调、偏好反馈与提示设计。随后展示 GPT API、对话上下文和函数调用，说明如何让模型借助 Python 等工具；再讲如何在本地运行开源模型、量化权重、搭建检索增强生成，并用 SQL 问答数据集进行微调。演讲强调模型会出错，实际使用仍需评估和检查。
自动字幕 · 引文按字幕原文展示，可点时间戳回看片段。
内容要点
- 语言模型通过预测 token 学到文本中的统计规律；预训练、指令微调和基于偏好反馈的后训练分别承担不同作用。
- API 对话需要把历史消息一并传回；函数调用让模型输出结构化工具请求，由程序执行、检查后再把结果交回模型。
- 本地模型可通过量化降低显存需求；RAG 用检索内容补充上下文，微调则改变模型对特定任务的行为，两者适用目标不同。
视频章节 6
- 语言模型的基本概念与 token
- 预训练：下一词预测和压缩
- 指令微调与偏好训练
- 数据分析、API 与代码工具
- 函数调用与本地模型
- 检索增强生成与任务微调
具体观点与证据 3
公开榜单成绩不等于实际任务效果：指标可能与用途脱节，还可能存在评测问题进入训练集的数据泄漏，应亲自测试目标任务。
2023 年演讲对当时模型榜单的提醒，不是判定任何具体模型作弊。
these metrics are not particularly well aligned with real life usageRAG 的追问若只把省略主题的问题送给检索器，可能检索到别的文档；对话生成器有历史不代表检索器也有历史。
ULMFiT 追问演示；字幕将名称误转写为 new lmfit。
there's no context here being sent to the embedding model so it's actually going to have no idea I'm talking about new lmfit函数调用响应只是函数名称和参数的请求，必须由宿主校验并执行，再将结果送回模型；模型本身没有执行本地函数。
片中 API 调用协议的机制，不作为当前 SDK 语法教程。
it does not actually return the number nine instead it returns something saying please call a function补充字幕原文 2
讲者以预测后续词或补全缺词介绍语言模型的基本任务，并由此引出 token 和预训练。
knows how to predict the next word讲者把先检索相关文档、再将其作为上下文交给模型回答的流程称为 RAG。
this is called retrieval augmented generation解读边界
演讲中的 API 价格、模型排行榜、硬件建议与功能状态属于录制时的示例，时效性较强；字幕含有明显 ASR 错词，且缺少代码、图表和界面画面，不能据此复现每个步骤。模型示范结果不代表可靠性保证。