多視圖子空間聚類/表示學習(Multi-view Subspace Clustering/Representation Learning)
作者:凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/
- “橫看成嶺側成峰,遠近高低各不同。”多視圖聚類是最近一個較為熱門的研究話題。這篇博文主要對張長青團隊的五篇文章(1)"Low-Rank Tensor Constrained Multiview Subspace Clustering"(2015 ICCV),(2)"Tensorized Multi-view Subspace Representation Learning"(2020 IJCV),(3)"Latent Multi-view Subspace Clustering"(2017 CVPR),(4)"Generalized Latent Multi-View Subspace Clustering"(2020 TPAMI)和(5)"Consistent and Specific Multi-View Subspace Clustering"(2018 AAAI)的算法進行介紹。由於第三篇文章是第四篇文章中的一部分內容(線性部分),因此第三篇文章直接參看"Generalized Latent Multi-View Subspace Clustering"中的前半部分內容即可。
- 第一篇文章主要是將低秩張量約束引入到了多視角子空間聚類,聯合地學習各視角的子空間表達以同時挖掘視角內及視角間的高階關聯信息。
- 第二篇文章在第一篇文章的基礎上,引入先驗信息,可能是監督信息,來學習子空間表示,用於分類任務,如果先驗信息沒有的話,該方法就退化為第一篇文章的算法,用於無監督聚類任務。
- 而第三和第四篇文章主要是假設多個視圖共享同一個公共子空間表示Z,而不是每個視圖都有一個各自的子空間表示。第三篇是線性映射,第四篇新增了一個非線性映射,引入神經網絡進行非線性映射,來學習公共的潛在表示H。
- 第五篇文章是在第一篇文章的基礎上將每個視圖的Z拆成兩部分,一部分為視圖共享的表示C,一部分為每個視圖各自的差異性表示D。
- 多視圖子空間聚類主要思想是通過某些算法得到子空間表示(可以是每個視圖各自的,也可以是一個公共的)Z,然后構造相似度矩陣S,最后利用譜聚類算法來得到最終的聚類結果。
1. 基礎知識
2. Low-Rank Tensor Constrained Multiview Subspace Clustering
具體優化過程涉及到了矩陣的$L_{2,1}$范數與核范數的優化,E與G的優化詳細見:一類涉及矩陣范數的優化問題。Z的優化中用到了置換/排列矩陣P的性質,置換矩陣是方陣,只取0和1兩個值,且每行每列有且僅有一個1,置換矩陣也是正交矩陣,滿足${P^T}P=P{P^T}=I$。
2015 ICCV論文代碼可以在http://cic.tju.edu.cn/faculty/zhangchangqing/code.html中找到,關於代碼里的公式優化理解問題可以參看2020 IJCV期刊文章3.4 Optimization這部分,代碼里置換矩陣P並未體現,z和g向量化也並未用到,而是使用reshape()進行重塑矩陣大小,因此可以將兩篇文章的優化過程結合一起看。值得注意的是$G_m$因三個不同模態導致矩陣大小不同,用奇異值閾值法計算完之后矩陣的大小分別為N*(N*V), N*(N*V), (N*N)*V,之后再用reshape()將每個模態下的矩陣重塑為N*N*V,即$g_m$由此產生。$g_m$一變,$\alpha _m$也跟着變,每個模態下的$\alpha _m$大小也是N*N*V。
3. Tensorized Multi-view Subspace Representation Learning
4. Generalized Latent Multi-View Subspace Clustering
這篇文章主要就是:X(數據,每個視圖的)->H(潛在表示矩陣,公共的)->Z(系數矩陣,公共的)->W(構造相似度矩陣)->聚類。線性與非線性取決於X->H這里用的是線性映射,還是非線性映射(神經網絡)。
在更新Z的過程中,用到了ADMM方法,用輔助變量J代替原先核函數約束中的Z,原先是
$min \text{ } \frac{1}{2}\left \| H-HZ \right \|_{F}^{2}+\lambda \left \| Z \right \|_{*}$
現在增廣拉格朗日函數為:
$min \text{ } \frac{1}{2}\left \| H-HZ \right \|_{F}^{2}+\lambda \left \| J \right \|_{*}+\frac{\mu }{2}\left \| J-Z \right \|_{F}^{2}+Y(J-Z)$
$Y=Y+\mu (J-Z)$
在求解J時,本應該是$L=\lambda \left \| J \right \|_{*}+\frac{\mu }{2}\left \| J-Z \right \|_{F}^{2}+Y(J-Z)$,L對J求偏導,但是,現在在L的基礎上多加了一項${(\frac{Y}{\mu } )}^{2}$,因為本身L是最小化的,加一項非負項不影響最小化這個目標,這樣就能湊一個平方項,就可以用已有的奇異值閾值收縮公式進行求解了。
5. Consistent and Specific Multi-View Subspace Clustering
6. 參考文獻
[1] C. Zhang et al., "Low-Rank Tensor Constrained Multiview Subspace Clustering," 2015 IEEE International Conference on Computer Vision (ICCV), 2015.
Code: http://cic.tju.edu.cn/faculty/zhangchangqing/code.html
[2] 張長青. 基於自表達的多視角子空間聚類方法研究[D].天津大學,2016.
[3] C. Zhang et al., "Tensorized Multi-view Subspace Representation Learning," International Journal of Computer Vision 9(2020).
[4] C. Zhang et al., "Generalized Latent Multi-View Subspace Clustering," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 42, no. 1, pp. 86-99, 1 Jan. 2020.
[5] C. Zhang et al., "Latent Multi-view Subspace Clustering," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.
[6] 張長青個人主頁-天津大學智能與計算學部 http://cic.tju.edu.cn/faculty/zhangchangqing/research.html
[7] 交替方向乘子法(Alternating Direction Method of Multipliers)-凱魯嘎吉 博客園
[8] Shirui Luo, Changqing Zhang, Wei Zhang, Xiaochun Cao, "Consistent and Specific Multi-View Subspace Clustering," AAAI. 2018.
Code: https://github.com/XIAOCHUN-CAS/Consistent-and-Specific-Multi-View-Subspace-Clustering/
[9] 有關多視圖的會議論文:https://github.com/lslrh/multi-view
有關多視圖論文的代碼:https://github.com/liangnaiyao/multiview_learning