最近看了一下深度學習的表征學習，總結並記錄與一下學習筆記。
1.在標簽數據集中做的監督學習容易導致過擬合，半監督學習由於可以從無標簽數據集中學習，可以有一定概率化解這種情況。
2.深度學習所使用的算法不能太復雜，否則會加大計算復雜度和工作量。
3.逐層貪婪的無監督預訓練有這幾個特點：
（1）貪婪：基於貪婪算法，獨立優化問題解的各方面，但是每次只優化一個方面，而不是同時同步全局優化。
（2）逐層：各個獨立方面可以看做網絡的每一層，每次訓練的第i層，都會固定前面的所有層。
（3）無監督：每次訓練都是無監督表征學習算法。
（4）預訓練：訓練前的一步操作。
4.在分類任務中減少測試誤差，初始化的參數選擇對模型產生顯著正則化影響，通俗點就是優化效果更明顯。
5.無監督預訓練還是有一些缺點的，比如需要兩個或更多的訓練階段，則需要更多的參數來支持，同時使用有監督和無監督時，通常只需要一個超參。額外項系數減少，優化效果會相應減少
6.無監督學習的四種實現模型
（1）自動編碼器，優點是技術簡單重建輸入，可堆棧多層，直覺型基於神經科學研究
缺點是貪婪訓練每一層，沒有全局優化，比不上監督學習表現，層一多會失效
（2）聚類學習優點聚類相似輸出可被多層堆棧，直覺型且基於神經科學研究。
缺點是貪婪訓練每一層沒有全局優化，在一些情況下比不上監督學習的表現，層數增加會失效，收益遞減。特別的，受限RBMs，DBMs，DBNs難以訓練，而配分函數的數值難題，還未普遍用來解決問題。
（3）生成模型，嘗試在同一個時間創建一個分類網絡和一個生成圖像模型。
優點是整個全局訓練
缺點難以訓練和轉化，在某些情況下和監督學習表現相似，需要論證展示方法的可用性