Bay Area Vision Meeting: Unsupervised Feature Learning and Deep Learning
Google TechTalks在 YouTube 播放 ↗
字幕解读
Andrew Ng 讨论以数据自动学习视觉、音频和语言特征，替代长期依赖人工设计的特征工程。他提出感知可能共享底层学习机制，并以感觉通道重接线、舌触觉视觉和回声定位作例子。演讲随后定义自监督特征学习：用大量未标注数据学习表示，再辅助少量有标签任务；重点讲稀疏编码如何从图像块学出类似边缘检测器的基函数，并扩展到音频和递归文本表示。结尾承认特征可解释性、方法适用性和仍未解决问题。
英文字幕轨道 · 引文按字幕原文展示，可点时间戳回看片段。
内容要点
- 特征表示是许多机器学习流程的关键输入，自动从未标注数据学习表示可减少逐项手工设计。
- 稀疏编码把输入近似表示为少量基函数的线性组合；从自然图像学到的基函数常呈现边缘样式。
- 演讲将视觉、音频和语言任务纳入统一的表示学习研究议程，但承认模型所学特征仍难解释，议程也有尚未解决的局限。
视频章节 6
- 特征工程与表示学习动机
- 感知的共同学习机制假说
- 自监督特征学习问题
- 稀疏编码与边缘基函数
- 音频与语言表示扩展
- 研究议程的批评与局限
具体观点与证据 4
无标签图像可先用于学习表示，再把这种表示用于少量标注样本的分类任务。
self-taught learning设定，不要求无标签数据本身带有分类答案。
take all the unlabelled images, learn a better representation for images报告的实验中扩大所学特征数量改善表现，使可扩展算法成为特征学习的重要瓶颈。
针对演讲展示的实验趋势，不是任意模型无限扩张都有收益。
The larger you can scale up these models, the better it does.学习得到的复杂非线性特征难以理解，是讲者明确承认的实际研究问题。
不把可视化结果等同于已经解释了模型。
we don't understand the output of these algorithms actually is a problem.无监督特征学习仍可编码像素邻接等先验，以改善可扩展性，而不是完全排除人工知识。
问答承认局部拓扑是已注入的先验；不表示所有不变性都应手工写入。
we are essentially telling the algorithm which pixels are adjacent to which other input pixels.补充字幕原文 2
演讲将核心研究问题表述为从图像数据中自动发现比原始像素更有用的表示。
find a better way to represent images than the raw input pixels稀疏编码通过学习一组基函数，将输入表示为其中少数基函数的组合。
it learns a dictionary of bases functions解读边界
这是研究议程演讲而非完整技术教程；部分生物学例子被用作启发而非证明统一算法，作者也明确指出所学特征可解释性仍是严重问题。
相关视频与证据 1
原理到问题从无监督学习，走到学习图像表示
第一段描述没有给定正确标签时从数据发现结构；第二段提出从图像中学习比原始像素更有用的表示。可把表示学习问题作为理解无监督目标的一条具体路径。
Lecture 1 | Machine Learning (Stanford) ↗
无监督学习不提供每个样本的目标标签，而要求算法从数据本身找出有意义的结构。
I'm not going to tell you what the right answer is▶ 51:22–51:27 · 观看片段Bay Area Vision Meeting: Unsupervised Feature Learning and Deep Learning
演讲将核心研究问题表述为从图像数据中自动发现比原始像素更有用的表示。
find a better way to represent images than the raw input pixels适用边界 两段提供问题定义，不证明所有表示学习都无监督，也不比较具体算法的优劣。