RL Course by David Silver - Lecture 1: Introduction to Reinforcement Learning
Google DeepMind在 YouTube 播放 ↗
字幕解读
课程第一讲把强化学习定义为智能体在环境中采取动作、观察状态并获得奖励的序贯决策问题。讲解比较它与监督学习的差异，介绍奖励延迟、智能体影响数据、马尔可夫状态，以及策略、价值函数和环境模型等概念，并区分学习与规划、探索与利用、预测与控制。
自动字幕 · 引文按字幕原文展示，可点时间戳回看片段。
内容要点
- 强化学习没有逐步给出正确动作的监督者，智能体通过延迟奖励和试错改进决策。
- 状态若满足马尔可夫性质，便能概括历史对未来的相关信息。
- 策略、价值函数和环境模型是描述智能体与决策过程的核心对象，学习和规划的问题设定不同。
视频章节 6
- 强化学习与监督学习的差异
- 序贯决策与智能体交互
- 状态与马尔可夫性质
- 策略与价值函数
- 强化学习与规划
- 探索利用及课程路线
具体观点与证据 4
强化学习行动会改变接下来收到的数据，因此环境经验通常不是固定独立同分布的数据集，还要处理延迟奖励。
讲座中的在线交互设置，不把所有离线 RL 数据都等同为实时交互。
the agent is actually influencing the data that it seesMarkov 状态必须保留历史中预测未来所需的信息；只取最新观测不保证满足条件，例如直升机只知位置而不知速度仍不够。
条件独立意义上的充分信息，不等于知道未来的确定结果。
the future is independent of the past given the present学习与规划是不同问题：前者通过未知环境的经验改善行为，后者在已知模型上内部计算；先学模型再规划可连接两者。
模型基方法可以组合两阶段，无模型方法不必显式学环境动力学。
in RL the environment is unknown in planning the environment is known探索会牺牲已知即时收益以获得信息；只探索或只利用都可能降低长期累计回报。
课程入门对探索—利用权衡的定义。
exploration means choosing to give up some reward that you know about in order to find out more about the environment补充字幕原文 2
强化学习不由监督者指定正确动作，而通过奖励信号评价行为。
there's no supervisor there's just this reward signal满足马尔可夫性质的状态概括了预测未来所需的信息。
the state is a sufficient statistic of the future解读边界
本讲主要界定问题并建立术语，未深入推导或实现后续算法；课程后续内容才讨论具体求解与扩展。
相关视频与证据 2
区分概念都没有老师给答案，学习信号却不同
无监督学习片段要求从未标注数据发现结构；强化学习片段没有监督者指定动作，却明确提供奖励信号。并读可以澄清没有标签不等于没有反馈。
Lecture 1 | Machine Learning (Stanford) ↗
无监督学习不提供每个样本的目标标签，而要求算法从数据本身找出有意义的结构。
I'm not going to tell you what the right answer is▶ 51:22–51:27 · 观看片段RL Course by David Silver - Lecture 1: Introduction to Reinforcement Learning
强化学习不由监督者指定正确动作，而通过奖励信号评价行为。
there's no supervisor there's just this reward signal适用边界 这是两类学习问题的比较，不是互相反驳；现实系统可以组合不同范式。
相近反馈下的算法区别奖励学习与遗传筛选都用反馈，但更新单位不同
强化学习课程描述智能体通过试错和奖励信号改善动作；MarI/O 则依据关卡推进距离与速度计算适应度，筛选并繁殖网络。两者都利用任务反馈，但一种更新策略决策，另一种选择跨代网络个体，能避免把所有“没有标签的学习”混为一类。
RL Course by David Silver - Lecture 1: Introduction to Reinforcement Learning
强化学习不由监督者指定每个动作，而通过试错和奖励信号学习。
there's no supervisor there's just this reward signalMarI/O - Machine Learning for Video Games ↗
MarI/O 以推进距离和速度评估网络适应度，并繁殖高适应度个体。
Only the neural networks that produce the highest fitness are selected▶ 3:47–3:53 · 观看片段适用边界 MarI/O 使用遗传算法/NEAT，不是强化学习；此关系用于区分机制，不能据此比较两者普遍优劣。