1.余弦相似度可用來計算兩個向量的相似程度
對於如何計算兩個向量的相似程度問題，可以把這它們想象成空間中的兩條線段，都是從原點（[0, 0, ...]）出發，指向不同的方向。兩條線段之間形成一個夾角，如果夾角為0度，意味着方向相同、線段重合；如果夾角為90度，意味着形成直角，方向完全不相似；如果夾角為180度，意味着方向正好相反。因此，我們可以通過夾角的大小，來判斷向量的相似程度。夾角越小，就代表越相似。
以二維空間為例，上圖的a和b是兩個向量，我們要計算它們的夾角θ。余弦定理告訴我們，可以用下面的公式求得：
假定a向量是[x1, y1]，b向量是[x2, y2]，那么可以將余弦定理改寫成下面的形式：
余弦的這種計算方法對n維向量也成立。假定A和B是兩個n維向量，A是 [A1, A2, ..., An] ，B是 [B1, B2, ..., Bn] ，則A與B的夾角θ的余弦等於：
余弦值越接近1，就表明夾角越接近0度，也就是兩個向量越相似，這就叫"余弦相似性"。
余弦值的范圍在[-1,1]之間，值越趨近於1，代表兩個向量的方向越接近；越趨近於-1，他們的方向越相反；接近於0，表示兩個向量近乎於正交。
特殊情況分析：
（1）夾角為0度 ：此時向量A與向量B應該是最相似的，余弦相似度應該為1。按照公式(4)，我們計算很容易計算出來cosθ=1。
（2）夾角為90度 ：此時余弦相似度為0。
（3）夾角為180度 ：此時余弦相似度為-1，兩個向量的方向完全相反。
一般情況下，相似度都是歸一化到[0,1]區間內，因此余弦相似度表示為 cosineSIM = 0.5cosθ + 0.5
2. 余弦相似度的python實現
import numpy as np def bit_product_sum(x, y): return sum([item[0] * item[1] for item in zip(x, y)]) def cosine_similarity(x, y, norm=False): """ 計算兩個向量x和y的余弦相似度 """ assert len(x) == len(y), "len(x) != len(y)" zero_list = [0] * len(x) if x == zero_list or y == zero_list: return float(1) if x == y else float(0) # method 1 res = np.array([[x[i] * y[i], x[i] * x[i], y[i] * y[i]] for i in range(len(x))]) cos = sum(res[:, 0]) / (np.sqrt(sum(res[:, 1])) * np.sqrt(sum(res[:, 2]))) # method 2 # cos = bit_product_sum(x, y) / (np.sqrt(bit_product_sum(x, x)) * np.sqrt(bit_product_sum(y, y))) # method 3 # dot_product, square_sum_x, square_sum_y = 0, 0, 0 # for i in range(len(x)): # dot_product += x[i] * y[i] # square_sum_x += x[i] * x[i] # square_sum_y += y[i] * y[i] # cos = dot_product / (np.sqrt(square_sum_x) * np.sqrt(square_sum_y)) return 0.5 * cos + 0.5 if norm else cos # 歸一化到[0, 1]區間內 if __name__ == '__main__': print cosine_similarity([0, 0], [0, 0]) # 1.0 print cosine_similarity([1, 1], [0, 0]) # 0.0 print cosine_similarity([1, 1], [-1, -1]) # -1.0 print cosine_similarity([1, 1], [2, 2]) # 1.0 print cosine_similarity([3, 3], [4, 4]) # 1.0 print cosine_similarity([1, 2, 2, 1, 1, 1, 0], [1, 2, 2, 1, 1, 2, 1]) # 0.938194187433
3. 余弦相識度 vs 歐氏距離
余弦距離使用兩個向量夾角的余弦值作為衡量兩個個體間差異的大小。相比歐氏距離，余弦距離更加注重兩個向量在方向上的差異。
借助三維坐標系來看下歐氏距離和余弦距離的區別：
從上圖可以看出，歐氏距離衡量的是空間各點的絕對距離，跟各個點所在的位置坐標直接相關；而余弦距離衡量的是空間向量的夾角，更加體現在方向上的差異，而不是位置。
如果保持A點位置不變，B點朝原方向遠離坐標軸原點，那么這個時候余弦距離
是保持不變的（因為夾角沒有發生變化），而A、B兩點的距離顯然在發生改變，這就是歐氏距離和余弦距離之間的不同之處。
歐氏距離和余弦距離各自有不同的計算方式和衡量特征，因此它們適用於不同的數據分析模型：
- 歐氏距離能夠體現個體數值特征的絕對差異，所以更多的用於需要從維度的數值大小中體現差異的分析，如使用用戶行為指標分析用戶價值的相似度或差異。
- 余弦距離更多的是從方向上區分差異，而對絕對的數值不敏感，更多的用於使用用戶對內容評分來區分興趣的相似度和差異，同時修正了用戶間可能存在的度量標准不統一的問題（因為余弦距離對絕對數值不敏感）。
正因為余弦相似度在數值上的不敏感，會導致這樣一種情況存在：
用戶對內容評分，按5分制，X和Y兩個用戶對兩個內容的評分分別為（1,2）和（4,5），使用余弦相似度得到的結果是0.98，兩者極為相似。但從評分上看X似乎不喜歡2這個 內容，而Y則比較喜歡，余弦相似度對數值的不敏感導致了結果的誤差，需要修正這種不合理性就出現了調整余弦相似度，即所有維度上的數值都減去一個均值，比如X和Y的評分均值都是3，那么調整后為（-2，-1）和（1,2），再用余弦相似度計算，得到-0.8，相似度為負值並且差異不小，但顯然更加符合現實。 那么是否可以在（用戶-商品-行為數值）矩陣的基礎上使用調整余弦相似度計算呢？從算法原理分析，復雜度雖然增加了，但是應該比普通余弦夾角算法要強。
4. 在計算文本相似度上基本流程
（1）使用TF-IDF算法，找出兩篇文章的關鍵詞；
（2）每篇文章各取出若干個關鍵詞（比如20個），合並成一個集合，計算每篇文章對於這個集合中的詞的詞頻（為了避免文章長度的差異，可以使用相對詞頻）；
（3）生成兩篇文章各自的詞頻向量；
（4）計算兩個向量的余弦相似度，值越大就表示越相似。
參考：
http://www.ruanyifeng.com/blog/2013/03/cosine_similarity.html
https://www.cnblogs.com/guoxueyuan/p/7779239.html
http://blog.csdn.net/zz_dd_yy/article/details/51926305