Unsupervised deep embedding for clustering analysis
偶然發現這篇發在ICML2016的論文，它主要的關注點在於unsupervised deep embedding。據我所了解的，Unsupervised 學習是deep learning的一個難點，畢竟deep network這種非常復雜的非線性映射，暫時的未知因素太多，可能在原來的domain有clustering的特征數據經過nonlinear映射之后，就變得不再clustering了。
這篇論文受t-SNE的啟發，優化的目標是兩個分布之間的KL距離。假設deep embedding之后的兩個點
和
，其中
是第
個類的centroid。於是，similarity 的measure為
也可以認為是
屬於
的概率。
假設此時一個目標分布
，則 
。優化的過程和普通的BP算法一樣，（1）通過BP算法優化deep network的參數，即計算
。（2）通過計算梯度
來調整cluster的centroid，但是否這類centroid的調整也需要乘上一個學習率呢？
此外，一個重點的問題是潛在目標分布的構造。Paper里給出了三個標准，我覺得這三個標准確實挺有意義的：（1）對預測效果可以strengthen（2）對於一些高概率被標注某個cluster的點，給予更多的權重（3）歸一化每個點對於每個centroid用於計算loss函數時候的貢獻，避免一些大的cluster扭曲了整個feature space。構造如下，
其中，
。對以上三個標准說一說自己的理解，不一定准確。（1）對於第一點，對於某個明顯更靠近類的point，它比其他point離得除類以外更遠，這個點的
也更高，而且
也可能會更高（2）平方項的應用使得小的更加小了，即emphasis更小。同時，當
較高，在
的所有點中， 也會有相對高的值。（3）對於某些大的cluster，可能總和
更大，反而最終更小，而對於小的cluster，使得更大。最終把一個點push到另一個小cluster。
直覺上說，概率分布的初始化的正確性很大程度影響的算法最終的結果，首先因為這不是一個真實的分布，而deep network沒有一個很好的初始化很難在另一個domain 保持cluster的結構。而section 5.1 的結果顯示，對於high confidence的點，sample也變得更加canonical，如圖越高confidence越明顯是“5”的字樣，而對於梯度的貢獻也越來越大，即說明初始化概率分布也是接近正確的。
網絡的初始化和SAE（棧autoencoder）一樣，采用greedy training的方式訓練每一層，然后再微調整個網絡。而初始化cluster的選擇，則通過在embedding上perform k means clustering 算法得到。