HackerTube English?
学习信号与模型行为 →

没人给出标准答案,学习信号从哪里来?

从一块没有标签的图像开始,再把问题换成需要连续行动的游戏。两者都没有老师逐题打分,但「找出结构」和「选择动作」要求的信息不同。

本文的问题 · 7
  1. 从无监督学习,走到学习图像表示
  2. 都没有老师给答案,学习信号却不同
  3. 动作会改变后续局面,不能把连续决策拆成孤立的分类题
  4. 用 AlphaGo 看见机器学习定义中的任务与经验
  5. 试错可以发现不在示范答案里的策略
  6. 围棋和马里奥代理从不同反馈中改进
  7. 看不见的那块图,究竟要猜回什么?

从无监督学习,走到学习图像表示

第一段描述没有给定正确标签时从数据发现结构;第二段提出从图像中学习比原始像素更有用的表示。可把表示学习问题作为理解无监督目标的一条具体路径。

对照原文与时间戳 · 2
I'm not going to tell you what the right answer is
Lecture 1 | Machine Learning (Stanford) · ▶ 51:22–51:27
find a better way to represent images than the raw input pixels
Bay Area Vision Meeting: Unsupervised Feature Learning and Deep Learning · ▶ 9:28–9:38

两段提供问题定义,不证明所有表示学习都无监督,也不比较具体算法的优劣。

都没有老师给答案,学习信号却不同

无监督学习片段要求从未标注数据发现结构;强化学习片段没有监督者指定动作,却明确提供奖励信号。并读可以澄清没有标签不等于没有反馈。

对照原文与时间戳 · 2
I'm not going to tell you what the right answer is
Lecture 1 | Machine Learning (Stanford) · ▶ 51:22–51:27
there's no supervisor there's just this reward signal
RL Course by David Silver - Lecture 1: Introduction to Reinforcement Learning · ▶ 9:52–10:04

这是两类学习问题的比较,不是互相反驳;现实系统可以组合不同范式。

动作会改变后续局面,不能把连续决策拆成孤立的分类题

概括强化学习中的时间依赖;并非所有任务都有同样长的奖励延迟。

对照原文与时间戳 · 2
the consequence of trashing it may not happen until much later
Lecture 1 | Machine Learning (Stanford) · ▶ 63:17–63:31
the agent is actually influencing the data that it sees
RL Course by David Silver - Lecture 1: Introduction to Reinforcement Learning · ▶ 11:44–12:09

用 AlphaGo 看见机器学习定义中的任务与经验

Stanford 课程用任务、经验和性能指标描述学习问题;AlphaGo 的纪录片呈现棋谱模仿、自我对弈和从失误中学习。后者让抽象定义落到清楚的任务与经验来源上,也展示经验并非只能来自人工标注。

对照原文与时间戳 · 2
a computer program is set to learn from an experience
Lecture 1 | Machine Learning (Stanford) · ▶ 35:17–35:26
through self-playing, reinforcement learning, it plays against different versions of itself
AlphaGo - The Movie | Full award-winning documentary · ▶ 12:02–12:08

纪录片展示的是混合训练过程,不能据此推断所有机器学习任务都采用自我对弈或强化学习。

试错可以发现不在示范答案里的策略

一例是围棋自我对弈,另一例讨论语言模型解题。探索有效仍依赖能提供区分度的反馈。

对照原文与时间戳 · 2
through self-playing, reinforcement learning, it plays against different versions of itself many millions of times,
AlphaGo - The Movie | Full award-winning documentary · ▶ 12:02–12:09
we're going to check them and we're going to do more of what worked
Deep Dive into LLMs like ChatGPT · ▶ 145:32–145:40

围棋和马里奥代理从不同反馈中改进

AlphaGo 先模仿人类棋手,再经自我对弈强化学习;MarI/O 按游戏进度形成适应度并繁殖高适应度网络。两者可作为围棋与平台游戏代理改进方式的并列案例。

对照原文与时间戳 · 2
through self-playing, reinforcement learning, it plays against different versions of itself
AlphaGo - The Movie | Full award-winning documentary · ▶ 12:02–12:08
Only the neural networks that produce the highest fitness are selected
MarI/O - Machine Learning for Video Games · ▶ 3:47–3:53

两者采用不同训练机制和任务指标;这组片段只支持并列比较,不证明某种反馈方式更有效或泛化更好。

看不见的那块图,究竟要猜回什么?

把一片树叶挡住,要求模型猜回每个像素,和要求它猜一个表示,是两种训练任务。LeCun 用这个差别解释 JEPA:完整观察也经过编码器,预测器去接近的是那份表示。它可以不用追赶每片叶子的偶然抖动;若表示也丢掉任务所需的差异,预测得准并不能补回来。读一个自监督方法时,先圈出误差在哪个空间计算。

原文与时间戳 · 2
you’re only trying to predict an abstract representation of the inputs
Yann Lecun: Meta AI, Open Source, Limits of LLMs, AGI & the Future of AI | Lex Fridman Podcast #416 · ▶ 29:02–30:59 · 段落范围
you’re not going to have to predict every single pixel of every leaf
Yann Lecun: Meta AI, Open Source, Limits of LLMs, AGI & the Future of AI | Lex Fridman Podcast #416 · ▶ 29:02–30:59 · 段落范围

读完再想一步

改变一次动作而不改变眼前画面,哪些任务的答案仍会受到影响?