Sparks of AGI: early experiments with GPT-4
Sebastien Bubeck在 YouTube 播放 ↗
从这部视频出发 主题阅读 · 1
模型评测公开考题拿了高分，换道新题还会吗？→字幕解读
Sebastian Bubeck 分享微软团队对早期 GPT‑4 的定性观察，认为其在常识推理、理论心智、图像描述与生成代码等任务上出现超出以往模型的能力，并展示 SVG 绘图、小游戏编写和工具调用案例。他把智能评价视为取决于定义的判断，强调应以跨领域新任务持续追问，而非单题或基准分数下结论；同时承认模型缺乏记忆和实时学习，规划与算术仍不可靠。
自动字幕 · 引文按字幕原文展示，可点时间戳回看片段。
内容要点
- 演讲者用新颖任务演示 GPT‑4 的能力，如用 SVG 画独角兽、遵循复杂图像指令及生成可运行小游戏。
- 通过追问和反馈而非单次答案，可以区分模型是否仅复述、是否能调整解题过程；但演讲没有提出量化评估框架。
- 智能判断取决于定义；该模型虽展现多领域能力，仍缺少持续记忆与实时学习，且存在算术和规划弱点。
视频章节 6
- 首次接触 GPT‑4
- 早期版本与评估范围
- 内部表示与智能争论
- 常识与理论心智示例
- SVG、视觉任务与编程
- 工具、数学能力与局限
具体观点与证据 3
演示使用早期纯文本 GPT-4；SVG/TikZ 图像能力通过生成代码展现，而非该版本直接看图或输出像素。
早期研究版本与后续公开模型不同。
the version we had access to was not multimodal it was text input only and text output only因不知道训练数据是否含公开基准，Bubeck 主张用跨领域新任务和连续追问探索能力。
属于定性研究策略，不提供成功率或证明所有例子未被训练见过。
we don't know what gpt4 was trained on I don't know what gpt4 was trained on会话内理解新概念不等于持续学习；片中的模型参数固定，没有跨会话记忆更新。
限定演讲所用模型及实验设置，非现代产品记忆功能评价。
it's frozen in time okay it doesn't update itself every day is a new day for gpt4补充字幕原文 2
演讲者把模型的表现视为某种智能迹象，同时将是否称为智能留作定义问题。
there is some intelligence in this system演讲者明确指出模型缺乏真正的多步规划，并提醒看似需要规划的问题有时可由线性算法解决。
gpt4 cannot plan and this is a very subtle and delicate issue解读边界
研究使用早期、仅文本输入输出的 GPT‑4 版本，后续安全微调会改变表现；演讲明确不提供量化基准，且部分判断来自演示任务，不能据此推出稳定、普遍的能力边界。
相关视频与证据 1
评测警戒未知训练数据会削弱榜单解释力
Bubeck 因不知道 GPT-4 的训练数据而不愿仅靠公开基准推断能力；Howard 则指出榜单可能混入训练泄漏且与使用场景脱节。两者都要求在公开分数之外设计新的实际任务检验。
Sparks of AGI: early experiments with GPT-4
不知道模型训练集是否包含公开题。
we don't know what gpt4 was trained on I don't know what gpt4 was trained onA Hackers' Guide to Language Models ↗
基准测试问题有时可能泄漏进训练集，榜单也未必贴合真实用途。
some of the questions from these things actually leaks through to some of the training sets▶ 59:53–60:04 · 观看片段适用边界 不表示所有基准失效，也不证明 GPT-4 或某个榜单模型存在泄漏；共同点是评测解释需要考虑未知训练重叠。