Most of human and animal learning is unsupervised learning.
Yann LeCun在NIPS 2016大會主題報告提出了“預測學習”的概念，可以簡單理解為深度無監督學習方法。大會報告主要包括深度學習、預測學習、增強學習、基於能量函數的無監督學習、對抗學習五部分內容，本文簡要介紹了報告要點，原文PPT獲取詳見文末。
深度學習
- 所謂“深度”是指不止一層的非線性特征變換，例如卷積神經網絡中低層、中層、高層圖像特征抽取變換，典型的卷積神經網絡如VGG、GoogLeNet、ResNet都用了很深的網絡結構
- 深度學習實現了模型全流程的學習（“端到端”），而之前機器學習方法需要手工或無監督的抽取特征
- 卷積神經網絡在計算機視覺領域已有很多“令人驚喜”的應用，如給圖像配標題、圖像語義分割、圖像物體識別與定位等
預測學習
- 共識=世界如何運作的常識
- 共識+智能=感知+預測模型+記憶+推理（預測+規划）
- 准確的測量環境狀態
- 關注重要的事件
- 記住相關的事件
- 預測何種行為將生成最優結果
-
預測學習（或很多人認為的無監督學習）主要目標是讓機器擁有“共識”，即從可獲得的任意信息中預測所感知對象（系統狀態／行為、圖像、語言等）的過去、現在或將來任意部分
-
預測學習的難點在於監督學習預測標注數據，或是強化學習預測值函數等方法都是不夠等，參見LeCun著名的“AI蛋糕理論”
增強學習
- 傳統增強學習的基本原理是“在行動前按腦子里的想法嘗試下”，智能體感知環境並作用於環境，嘗試最小化長期損失目標
- 想要提前做規划，必須有“世界仿真器”，智能體通過最小化長期預測損耗來實現推理決策
- 實例
- PhysNet：基於Unreal圖形仿真引擎預測下降物體軌跡
- EntNet：記憶文本世界狀態，第一個通過文本故事判別測試（20bAbI）
基於能量函數的無監督學習
- 能量函數，也稱差異函數（contrast function），即給定樣本數據映射到一個新的流型空間，在該空間里預期的數據點能量值最小，而其它點上的能量值都很大
- 學習的關鍵在於構造“合適的”能量函數，有七種常用策略
- 構建機器使得低能量項為常量，例如PCA、K-means、GMM等方法
- 降低數據點的能量，提高其它數據點的能量，例如最大似然估計
- 降低數據點的能量，提高指定區域點的能量，例如Contrastive divergency、Ratio matching
- 最小化數據點的梯度最大化其曲率，例如score matching
- 訓練能夠學習數據樣本流型的動態系統，例如降噪自編碼器
- 使用正則項限制數據空間中低能量的區域，例如稀疏編碼、稀疏自編碼器
- 如果E(Y)=||Y-G(Y)||^2，令G(Y)盡可能為常量，例如合約自編碼器
對抗學習
- 無監督學習的難點在於“不確定情況下”的預測，輸入數據X只不過是真實世界的一個采樣，假設還有隱狀態變量Z作用下，預測值Y是處於某流型分布之中。但當數據采樣不夠的話，是很難進行預測的
- 從能量函數角度看對抗學習，核心思想是用生成器決定那些數據點的能量高，其中判別器是一個自編碼器，然后定義判別器和生成器的損失函數，並尋找最優的納什均衡情況下的判別器和生成器
- 目前對抗學習已經在生成不存在的真實圖像、圖像算術運算、視頻預測等方面有應用
最后，想進一步學習Yann LeCun報告PPT的朋友，請關注小蝦米微信公眾號，后台回復“預測學習”即可得到下載地址。
數據科學武林風起雲涌，
隨數據小蝦米共闖江湖~