COMPLETER: 基於對比預測的缺失視圖聚類方法
作者：凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/
本文對COMPLETER: Incomplete Multi-view Clustering via Contrastive Prediction這篇文章進行講解，由於論文思路及其數學推導相對簡單，因此沒把精力放在敲公式與論文復述上，大部分內容來自參考文獻。這篇文章閱讀前提可以看看變分推斷與變分自編碼器，所提跨視圖對偶預測損失計算時可以參考變分自編碼器部分，或者參考變分自編碼器（二）：從貝葉斯觀點出發。所提跨視圖對比學習損失需要知道概率論中的聯合分布、邊際分布與條件概率的定義與性質，互信息、信息熵與條件熵等相關知識，可參考[4][5]。更多多視圖聚類，請看：隨筆分類 - 聚類算法簡介。
一般地，多視圖/多模態表示學習（Multi-view Representation Learning, MvRL）旨在從多視圖/模態數據中學習有效的表示，以改進聚類、分類、檢索等下游任務的性能。現有多視圖表示學習方法的成功都顯式或隱式地要求數據滿足視圖“完備性”和“一致性”假設。其中“完備性”假設要求每一實例在所有的視圖中均需存在，即要求數據是“完整的”；“一致性”假設則要求每一實例在所有的視圖中均存在正確的對應關系，即要求數據是跨視圖“對齊的”。當數據不滿足任一假設時，大多數多視圖學習方法，特別在無監督條件下，都難以學習到有效的表示。實際應用中，由於數據采集和傳輸過程的復雜性，數據可能會丟失部分視圖，這就導致了信息不完備下的視圖缺失問題。這篇論文針對具有缺失數據的多視圖聚類問題進行研究。
基礎補充：互信息I(X; Y)、信息熵H(X), H(Y)、聯合熵H(X, Y)與條件熵H(X|Y), H(Y|X)之間的關系[4]。
1. 多視圖學習背景
2. 論文創新點
3. 方法(以兩個視圖為例)
4. 思考
1) 本文所提的方法僅適用於兩兩視圖之間學習，如果你的數據集的視圖數為N，N>2，那就得進行N(N-1)/2次兩兩學習。
2) Z的大小是[樣本個數*隱層維度]，文中視為離散變量，但Q為什么使用的是高斯分布而不是伯努利分布？是否與Z離散矛盾？文中並未給出明確的解釋。
此問題更新：
(作者回復說假設Z是連續的，是我理解錯了)
3) 最后聚類時是將所有視圖得到的隱層表示連接在一起形成一個[樣本個數*(隱層維度*視圖數)]的矩陣進行聚類，用的第二種多視圖學習方式，並沒有對結果進行融合形成一個[樣本個數*隱層維度]的統一特征表示，再進行聚類。
4) 雖然是老生常談的問題，但還是想問一下，為什么最后對偶預測損失L只采樣一次就能得到好結果？文中也並未提采樣這個說法，而是直接給出結果。為什么協方差矩陣設置為對角陣(僅僅是方便計算)？
5. 參考文獻
[1] Yijie Lin, Yuanbiao Gou, Zitao Liu, Boyun Li, Jiancheng Lv, Xi Peng*, COMPLETER: Incomplete Multi-view Clustering via Contrastive Prediction, IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Jun. 19-25, 2021.
Paper: https://openaccess.thecvf.com/content/CVPR2021/html/Lin_COMPLETER_Incomplete_Multi-View_Clustering_via_Contrastive_Prediction_CVPR_2021_paper.html
Code: https://github.com/XLearning-SCU/2021-CVPR-Completer
[2] CCF A類會議CVPR 2021論文收錄結果出爐：我院在信息不完備下的多視圖學習取得新的進展 https://sw.scu.edu.cn/info/1182/12482.htm
[3] 【VALSE論文速覽-17期】基於對比預測的缺失視圖聚類方法 https://www.bilibili.com/video/BV1Ub4y1a7Zy
[4] Chapter 2: Entropy and Mutual Information https://www.cs.uic.edu/pub/ECE534/WebHome/ch2.pdf
[5] X. Ji, A. Vedaldi and J. Henriques, "Invariant Information Clustering for Unsupervised Image Classification and Segmentation," 2019 IEEE/CVF International Conference on Computer Vision (ICCV), 2019, pp. 9864-9873, doi: 10.1109/ICCV.2019.00996.
[6] 類似論文：Yao-Hung Hubert Tsai, Yue Wu, Ruslan Salakhutdinov and Louis-Philippe Morency, Self-supervised Learning from a Multi-view Perspective, International Conference on Learning Representations, 2021.
