遮擋情況下的誤差並不滿足高斯或者拉普拉斯分布。L1誤差分布服從拉普拉斯分布，L2誤差分布服從高斯分布。
一個信息相似矩陣需要含有如下三個特性：高鑒別能力，自適應鄰域，高稀疏性。
https://www.52ml.net/15063.html，整理了朴樹貝葉斯，邏輯回歸，決策樹，SVM等分類器的優缺點
1.SRC
1）、SRC對測試集中的噪聲比較魯棒，但是當訓練集中同樣含有噪聲時，效果往往較差，因為SRC需要用一個純凈的訓練集來訓練一個非常好的字典。
【原話：Bing-Kun, B., Guangcan, L., Richang, H., Shuicheng, Y. and Changsheng, X. (2013) General subspace learning with corrupted training data via graph embedding, IEEE Trans. on Image Process., 22, 4380-4393.】 Representation Classifier (SRC) [24] is a robust supervised method and can correct the corruptions possibly existing in testing data, but cannot well handle the cases where the training data themselves are corrupted [25].
2)、當數據維數很大時，SRC對於特征抽取不敏感，但是一個學習好的字典能夠導致更加精確和穩定的識別結果。
3）||y-Xa||_2，2范數約束服從高斯分布，1范數服從拉普拉斯分布【Regularized Robust Coding for Face Recognition】，一般情況下，這種高斯或者拉普拉斯先驗知識是無效的，僅僅當測試樣本y存在遮擋或者噪聲時有效。對於魯棒的人臉識別而言，誤差曲線對於兩端尾部的擬合要比峰值點更重要。而對於尾部的擬合，拉普拉斯要好於高斯。
4）SRC認為同類樣本處於同一線性子空間，然而當人臉部分遮擋時，該結論不成立。
5）SRC對於系數的約束項lambda，該值越大越稀疏。
6) SRC隨機的從一組高相似樣本中選取一個樣本。
7）SRC的缺陷：要求字典D中的原子（其實也可以看成是訓練樣本）是嚴格配准的。
(8) 為了提高魯棒性，SRC通常添加一個單位矩陣作為遮擋等的字典。遮擋的區域通常不能被不帶遮擋的訓練集很好的重構，因此可以利用重構誤差來檢測遮擋區域。
（9）當樣本維度增大時，SRC計算代價越大。
（10）重構對於去除噪聲或遮擋有一定的效果，這也是SRC比其他算法好的原因之一。
2 PCA
PCA是使用最廣泛的降維方法和誤差校正方法，然而實際應用中，當存在gross corruptions（污染，遮擋）時，PCA不能很好的抓住數據的真實子空間結構，因此效果比較差，特別是遮擋幅值較大時，效果更差。
3 RPCA
RPCA正是為了處理PCA的遮擋等問題而提出來的。
1）能夠很好的處理稀疏噪聲問題，但是他是一種無監督方法，無法利用標簽信息來增加識別率。
2）不能處理新樣本，即使能夠處理新樣本，每來一個新樣本，所有訓練樣本都需要被重新計算，很耗時間了吧~
RPCA的一種處理新樣本的方法是，根據訓練樣本得到的子空間矩陣Y=U∑V’,得到投影矩陣U來處理新樣本；不過這有個缺點就是這個投影矩陣並不能很好的處理原始訓練樣本矩陣X，證明：主分量為UU*X，誤差E=X-UU*X，此時這個誤差E並不是稀疏的。
3）核約束的優點：能夠發現數據類間的低秩結構（結構信息），而且其實也可以用來抓住誤差的低秩結構。
4、圖嵌入方法，PCA,LDA,NMF,MFA,MNGE,PNGE等
1）訓練集有遮擋情況下，效果不好。
優點：（1）他們都是基於流行內在幾何結構的線性算法，更能體現現實數據的分布
（2）他們都是非參數的算法，使用簡單。而且只要求采樣數據所在的低維流行在局部是線性的，除此之外不需要對流行有額外的假設。
（3） 都可視為特征值分解問題，有全局最優解。
缺點：並不能處理新樣本。
雖然流行是一種非歐式幾何空間，不滿足傳統意義下的全局線性結構，但是在局部意義下，可獲得近似的全局線性結構。
盡管LPP只能保證局部分布的樣本在特征空間中仍然是局部分布的，並不能保證原始空間中距離較遠的樣本在特征空間中仍然距離較遠。由於存在噪聲、表情、姿態等的影響，原始樣本空間中屬於同一個人的兩個樣本可能比不同人的樣本距離更遠，而繼續在低維特征空間中保留這種關系是不合理的。
SPP：由於人臉圖像背景復雜性，SPP重構的樣本可能並不是同一類的。
（2） 加上了重構因子和為1的約束后，重構向量具有旋轉、平移和尺度不變性。
圖的構造包括建立連接邊和對相應的邊賦予權重
樣本之間存在流行，特征之間也可能存在流行：特征樣例之間存在對偶性，可認為特征也是由低維流行上的概率分布采樣生成，而該低維流行嵌入在高維環繞空間中。根據局部不變假設，如果兩個特征在數據分布的內在幾何流行上彼此接近，則他們的嵌入表征也應該相互接近。
圖正則化約束可以防止遷移學習中領域幾何結構破壞而導致的負遷移。
給定足夠的數據，我們期望每個數據點和他的鄰域位於流行的同一個局部線性塊上。這種局部幾何特征即：能夠利用近鄰樣本很好的很好的重構每一個數據。
LLE的目的是最小化線性重構誤差，但是他的線性重構僅僅與K個最近鄰有關，故LLE的效果與選取的k近鄰有關，因此我們說LLE得到的圖並不是最優的。
5、線性回歸方法 MSE
1）類標貌似沒有中心化。但是文獻【Cai, X., Ding, C., Nie, F. and Huang, H. (2013) On the equivalent of low-rank linear regressions and linear discriminant analysis based regressions. In: Proceedings of ACM SIGKDD Int. Conf. Knowl. Discovery Data Mining. 1124-1132.】提到只要訓練樣本矩陣X是中心化的，那么類標矩陣Y是否中心化是等價的。
2）基於像素誤差的模型，而且假設像素之間的誤差的獨立的。這種方法不適於遮擋情況下，因為遮擋數據集的誤差是空域相關的。
3） MSE嚴重的依賴於高斯假設分布，而且傳統的MSE子空間聚類方法對於非高斯噪聲分布特別敏感。【可以用MEE（minimum error entropy)來改進）
4）MSE是凸的而且可微分，具有解析解。MSE測量的是誤差信號的能量，能夠被正交矩陣（傅里葉變換，離散余弦變換，正交小波變換和主分量分析）保持。
5）視覺感知圖像質量的不一致性。因為MSE僅僅是一個像素操作，忽略了鄰域的結構信息，而且他也忽略了噪聲信號和原始圖像之間的關系。
6、LDA
（1）ratio-of-trace還是trace-of-ratio問題，一般而言trace-of-ratio等價於線性回歸的方法。
（2）在滿秩情況下，多線性回歸等價於LDA，（對於min||Y-XAB||,當B滿秩時）
Ye則證明，當降維維數為k-1以及rank(Sb)+rank(Sw) = rank(St)時才等價。
7.SVD
(1) 可以用於提取主分量
(2) SVD得到的基容易受到面部表情等的影響
(3) 每個基含有不同的鑒別信息和重構信息。
8.SLDA
(1) 發現投影后的特征 進行特征范數歸一化后結果還不錯的樣子
9.NMF（非負矩陣分解）
NMF對原始矩陣的重構誤差最小化，且原始數據的統計信息也可以得到保持。
缺點：（1）NMF學習的基底不完全是部分的，特別是有遮擋或極端光照變化的情況下。例如基底可能呈現的是一個完整的人臉，而不是光照、遮擋等部分區域；
（2）NMF假設重構誤差服從高斯分布，但是極端光照變化或有遮擋物情況下，並不滿足此假設。這種情況下NMF獲取的基底表示能力變差，重構圖和基底圖中都可能出現明顯的遮擋塊，這嚴重影響基底的表示能力；
（3）基本的NMF算法沒有考慮人臉數據的幾何結構。研究證實，人臉圖像處於高維空間中的線性子空間或流行上，而非整個高維空間。因此在利用非負矩陣分解獲取低維非負表示時有必要考慮這種幾何結構，在極端光照變化、噪聲或遮擋物情況下，如何刻畫這種幾何結構是問題的關鍵！！！
圖正則化NMF的一個重要缺陷是可能產生平凡解，
10.2DPCA
2DPCA直接提取二維圖像矩陣特征，最大化特征協方差矩陣的跡來保護總體方差，但是其並不能提取對人臉識別非常重要的局部成分。
11. 低秩Low-Rank
LatLRR得到的圖具有很強的鑒別能力以及自適應的近鄰。
LatLRR的缺陷：（1）不能對特征進行降維，不適用於特征抽取；（2）需要單獨的學習兩個低秩矩陣，導致不能學習到一個全局的最優解；（3）LatLRR是一種無監督的方法，不能用於有監督場景。
LRR(低秩表示)假設一個數據矩陣嚴格的分布在一些獨立的子空間。缺陷：當訓練樣本不足時，效果較差。
特別的，相比於從圖像空間中學習低秩結構，在有監督的子空間學習中，這個嚴格的低秩結構可以由獨立的類標子空間學習。
如果高維上的數據分布在各個獨立的線性子空間，此時LRR能夠很好的抓住數據的結構，否則失效。 例如，人臉一般分布在一個非線性的低維流行上。
對於低秩表示模型： min |Z|_* + |Z|_1 + |E|_1 s.t. X=XZ+E，對於重構矩陣Z添加低秩和稀疏約束的目的是為了抓住數據的全局和局部結構。
12. 遷移學習
遷移學習放寬了訓練數據和測試數據服從獨立同分布這一假設，使得參與學習的領域或任務可以服從不同的邊緣概率分布或條件概率分布。
主要思想：從相關的輔助領域中遷移標注數據或知識結構、完成或改進目標領域或任務的學習效果。
非平穩環境中，不同數據領域不再服從獨立同分布假設，使得經典學習理論不再成立，給異構數據分析挖掘帶來了理論上的風險。
遷移學習中存在機具挑戰性的負遷移問題，即難以判定遷移學習模型在什么條件下會導致性能下降而非提升。
但凡經典學習不能取得很好學習效果時均可能是因為訓練數據和測試數據之間存在概率分布漂移，而遷移學習正好是經典學習在非平穩環境下的推廣。
對於情感分類而言，不同領域的不同用戶傾向於用不同的情感詞來表達不同的態度，這些情感詞不發生重疊，存在領域獨享詞，且詞匯在不同領域出現的頻率顯著不同，這樣會導致領域間概率分布失配。
遷移學習的研究工作大多基於以下幾種假設：
（1）假設不同的領域間存在可以共享的隱含結構或相關實例。
（2）不同的任務存在可以共享的子任務或稀疏表征等
存在問題：
（1）負遷移問題：指輔助領域任務對目標領域任務有負面效果。主要解決方法是減少在領域間遷移的知識結構，比如共享模型的先驗概率，而不共享模型參數或似然函數。
（2）欠適配問題：指跨領域的概率分布失配問題未能充分修正。沒有對聯合概率分布進行適配，所采用的概率分布相似性度量准則過於簡單、或對概率分布的抽象擬合能力不足等；
（3）欠擬合問題，指學習模型未能充分刻畫概率分布的重要結構。概率分布失陪方法能有效工作的前提是能對概率分布自身的統計特性進行深度擬合。
13.IQA
1)IQA模型式非線性的，並沒有可微分性和凸性。
3）並不是一個有價值的距離度量方法，而且往往具有比MSE更高的計算代價。
14.SSIM
1）人眼視覺系統對於抓取結構信息具有很好的適應性。對於參考圖像和降質圖像，SSIM從亮度、對比度和結構三個方面來估計降質圖像的視覺質量。