一、奇異值分解SVD
1.SVD原理
SVD將矩陣分為三個矩陣的乘積，公式：
中間矩陣∑為對角陣，對角元素值為Data矩陣特征值λi，且已經從大到小排序，即使去掉特征值小的那些特征，依然可以很好地重構出原始矩陣。如下圖：其中陰影部分代表去掉小特征值，重構時的三個矩陣。
如果m代表商品個數，n代表用戶個數，則U矩陣每行代表商品屬性，現在通過降維U矩陣（取陰影部分）后，每個商品的屬性可以用更低的維度表示（假設k維）。這樣當新來一個用戶的商品推薦向量X，則可以根據公式X*U1*inv(S1)得到一個k維的向量，然后在V’中尋找最相似的的那個用戶（相似度計算可用余弦公式），根據這個用戶的評分來推薦（主要是推薦新用戶未打分的那些商品）。
另外關於SVD分解后每個矩陣的實際含義可以參考google吳軍的數學之美一書（吳軍解釋UV兩個矩陣好像弄反了？）或者參考machine learning in action其中的svd章節。
2.SVD應用
SVD是一種降維工具，可以利用SVD來逼近矩陣並從中提取重要特征，保留80%~90%的能量就可以得到重要特征並去掉噪聲。
SVD應用：
隱形語義索引、信息檢索；
推薦引擎；
圖像壓縮；
matlab中調用SVD庫函數：已知矩陣A=[…]，則[U, S, V] = svd(A)就可以輸出三個矩陣U, S, V分別是多少。
3.性能
優點：簡化數據，去除噪聲，提高算法結果
缺點：數據轉換難以理解
數據類型：數值型數據
二、具體例子
線性代數相關知識：
任意一個M*N的矩陣A（M行*N列，M>N），可以被寫成三個矩陣的乘機：
1.U：（M行M列的列正交矩陣）
2.S：（M*N的對角線矩陣，矩陣元素非負）
3.V：（N*N的正交矩陣的倒置）
即A=U*S*V‘（注意矩陣V需要倒置）
直觀地說：
假設我們有一個矩陣，該矩陣每一列代表一個user，每一行代表一個item。
如上圖，ben,tom....代表user，season n代表item。
矩陣值代表評分（0代表未評分）：
如 ben對season1評分為5，tom對season1 評分為5，tom對season2未評分。
機器學習和信息檢索：
機器學習的一個最根本也是最有趣的特性是數據壓縮概念的相關性。
如果我們能夠從數據中抽取某些有意義的感念，則我們能用更少的比特位來表述這個數據。
從信息論的角度則是數據之間存在相關性，則有可壓縮性。
SVD就是用來將一個大的矩陣以降低維數的方式進行有損地壓縮。
降維：
下面我們將用一個具體的例子展示svd的具體過程。
首先是A矩陣。
A =
5 5 0 5
5 0 3 4
3 4 0 3
0 0 5 3
5 4 4 5
5 4 5 5
（代表上圖的評分矩陣）
使用matlab調用svd函數：
[U,S,Vtranspose]=svd(A)
U =
-0.4472 -0.5373 -0.0064 -0.5037 -0.3857 -0.3298
-0.3586 0.2461 0.8622 -0.1458 0.0780 0.2002
-0.2925 -0.4033 -0.2275 -0.1038 0.4360 0.7065
-0.2078 0.6700 -0.3951 -0.5888 0.0260 0.0667
-0.5099 0.0597 -0.1097 0.2869 0.5946 -0.5371
-0.5316 0.1887 -0.1914 0.5341 -0.5485 0.2429
S =
17.7139 0 0 0
0 6.3917 0 0
0 0 3.0980 0
0 0 0 1.3290
0 0 0 0
0 0 0 0
Vtranspose =
-0.5710 -0.2228 0.6749 0.4109
-0.4275 -0.5172 -0.6929 0.2637
-0.3846 0.8246 -0.2532 0.3286
-0.5859 0.0532 0.0140 -0.8085
分解矩陣之后我們首先需要明白S的意義。
可以看到S很特別，是個對角線矩陣。
每個元素非負，而且依次減小，具體要講明白元素值的意思大概和線性代數的特征向量，特征值有關。
但是可以大致理解如下：
在線性空間里，每個向量代表一個方向。
所以特征值是代表該矩陣向着該特征值對應的特征向量的方向的變化權重。
所以可以取S對角線上前k個元素。
當k=2時候即將S（6*4）降維成S（2*2），
同時U(6*6),Vtranspose(4*4)相應地變為 U(6*2),Vtranspose(4*2).
如下圖（圖片里的usv矩陣元素值和我自己matlab算出的usv矩陣元素值有些正負不一致，但是本質是相同的）：
此時我們用降維后的U，S，V來相乘得到A2
A2=U(1:6,1:2)*S(1:2,1:2)*(V(1:4,1:2))' //matlab語句
A2 =
5.2885 5.1627 0.2149 4.4591
3.2768 1.9021 3.7400 3.8058
3.5324 3.5479 -0.1332 2.8984
1.1475 -0.6417 4.9472 2.3846
5.0727 3.6640 3.7887 5.3130
5.1086 3.4019 4.6166 5.5822
此時我們可以很直觀地看出，A2和A很接近，這就是之前說的降維可以看成一種數據的有損壓縮。
接下來我們開始分析該矩陣中數據的相關性。
我們將u的第一列當成x值，第二列當成y值。即u的每一行用一個二維向量表示，同理v的每一行也用一個二維向量表示。
如下圖：
從圖中可以看出:
Season5，Season6特別靠近。Ben和Fred也特別靠近。
同時我們仔細看一下A矩陣可以發現，A矩陣的第5行向量和第6行向量特別相似，Ben所在的列向量和Fred所在的列向量也特別相似。
所以從直觀上我們發現U矩陣和V矩陣可以近似來代表A矩陣，換據話說就是將A矩陣壓縮成U矩陣和V矩陣，至於壓縮比例得看當時對S矩陣取前k個數的k值是多少。
到這里，我們已經完成了一半。
尋找相似用戶：
依然用實例來說明：
我們假設，現在有個名字叫Bob的新用戶，並且已知這個用戶對season n的評分向量為：[5 5 0 0 0 5]。（此向量為列向量）
我們的任務是要對他做出個性化的推薦。
我們的思路首先是利用新用戶的評分向量找出該用戶的相似用戶。
如上圖（圖中第二行式子有錯誤，Bob的轉置應為行向量）。
對圖中公式不做證明，只需要知道結論，結論是得到一個Bob的二維向量，即知道Bob的坐標。
將Bob坐標添加進原來的圖中：
然后從圖中找出和Bob最相似的用戶。
注意，最相似並不是距離最近的用戶，這里的相似用余弦相似度計算。（關於相似度還有很多種計算方法，各有優缺點）
即夾角與Bob最小的用戶坐標。
可以計算出最相似的用戶是ben。
接下來的推薦策略就完全取決於個人選擇了。
這里介紹一個非常簡單的推薦策略：
找出最相似的用戶，即ben。
觀察ben的評分向量為：【5 5 3 0 5 5】。
對比Bob的評分向量：【5 5 0 0 0 5】。
然后找出ben評分過而Bob未評分的item並排序，即【season 5：5，season 3：5】。
即推薦給Bob的item依次為 season5 和 season3。
最后還有一些關於整個推薦思路的可改進的地方：
1.
svd本身就是時間復雜度高的計算過程，如果數據量大的情況恐怕時間消耗無法忍受。
不過可以使用梯度下降等機器學習的相關方法來進行近似計算，以減少時間消耗。
2.
相似度計算方法的選擇，有多種相似度計算方法，每種都有對應優缺點，對針對不同場景使用最適合的相似度計算方法。
3.
推薦策略：首先是相似用戶可以多個，每個由相似度作為權重來共同影響推薦的item的評分。