不同代理暴露不同限制:结构演化与搜索视野
MarI/O 从基础网络演化神经元和连接结构;NES 视频指出俄罗斯方块代理因前瞻不足而受限。并读可区分结构如何形成与决策向前看多远这两类问题。
沿同一来源继续阅读
从神经网络结构走到可演化的网络拓扑 →But what is a neural network? 解释层间激活如何传递,并把整个网络描述为输入到输出的函数;MarI/O 展示 NEAT 从基础网络开始,通过适应度筛选和演化连接结构来学习游戏操作。前者提供网络的计算视角,后者给出网络结构如何在特定任务中演化的实例。奖励学习与遗传筛选都用反馈,但更新单位不同 →强化学习课程描述智能体通过试错和奖励信号改善动作;MarI/O 则依据关卡推进距离与速度计算适应度,筛选并繁殖网络。两者都利用任务反馈,但一种更新策略决策,另一种选择跨代网络个体,能避免把所有“没有标签的学习”混为一类。围棋和马里奥代理从不同反馈中改进 →AlphaGo 先模仿人类棋手,再经自我对弈强化学习;MarI/O 按游戏进度形成适应度并繁殖高适应度网络。两者可作为围棋与平台游戏代理改进方式的并列案例。
对照原文
without presupposing the best structure for the neurons and their connectionsthis algorithm does not think very far ahead两种方法针对不同游戏与状态编码;NES 方法依赖目标指标对进度有用,并明确在需要更长远规划的情形下受限。