用截斷奇異值分解（Truncated SVD）降維

1、SVD的定義

 

2、SVD計算舉例

 

3、SVD的一些性質　

 

4、截斷SVD

截斷的SVD將參數計數從u*v減少到t（u+v），如果t比min（u，v）小得多，則這一點很重要。

TSVD與一般SVD不同的是它可以產生一個指定維度的分解矩陣，可以實現降維。為了壓縮網絡，將W對應的單個全連接層替換為兩個全連接層，它們之間沒有非線性。這些層中的第一層使用權矩陣，第二層使用U。這種簡單的壓縮方法在ROI數目較大的情況下可以很好地加速全連接層的計算。

 

5、python中的使用

1.   from sklearn.decomposition import TruncatedSVD
2.   svd = TruncatedSVD(2)
3.   iris_transformed = svd.fit_transform(iris_data)
4.   iris_data[:5]