一 Auto-encoder
NN Encoder & NN Decoder 要一起訓練。
二 Starting from PCA
三 Deep Auto-encoder
PCA&Deep Auto-encoder 比較，明顯后者效果更好。
當code為二維時，很明顯看到Deep Auto-encoder使數字手寫識別集分類地更好。
四 Auto-encoder的幾種應用
4.1 Auto-encoder – Text Retrieval
Bag-of-word方法將document用向量表示，每一個詞都是平等的，無法考慮語義。 而Auto-encoder可以考慮語義。
4.2 Auto-encoder – Similar Image Search
傑克遜和馬蹄鐵被聚到一起（可能是發型類似馬鐵蹄）。
4.3 Auto-encoder for CNN
CNN -Unpooling
CNN - Deconvolution
Actually, deconvolution is convolution.
參考：
http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/auto%20%28v7%29.pdf
https://blog.csdn.net/soulmeetliang/article/details/73550730