余弦相似度計算

余弦相似度計算

余弦相似度用向量空間中兩個向量夾角的余弦值作為衡量兩個個體間差異的大小。余弦值越接近1，就表明夾角越接近0度，也就是兩個向量越相似，這就叫"余弦相似性"。

 

我們知道，對於兩個向量，如果他們之間的夾角越小，那么我們認為這兩個向量是越相似的。余弦相似性就是利用了這個理論思想。它通過計算兩個向量的夾角的余弦值來衡量向量之間的相似度值。余弦相似性推導公式如下：

 

【下面舉一個例子，來說明余弦計算文本相似度】

   舉一個例子來說明，用上述理論計算文本的相似性。為了簡單起見，先從句子着手。

句子A：這只皮靴號碼大了。那只號碼合適

句子B：這只皮靴號碼不小，那只更合適

怎樣計算上面兩句話的相似程度？

基本思路是：如果這兩句話的用詞越相似，它們的內容就應該越相似。因此，可以從詞頻入手，計算它們的相似程度。

第一步，分詞。

句子A：這只/皮靴/號碼/大了。那只/號碼/合適。

句子B：這只/皮靴/號碼/不/小，那只/更/合適。

第二步，列出所有的詞。

這只，皮靴，號碼，大了。那只，合適，不，小，很

第三步，計算詞頻。

句子A：這只1，皮靴1，號碼2，大了1。那只1，合適1，不0，小0，更0

句子B：這只1，皮靴1，號碼1，大了0。那只1，合適1，不1，小1，更1

第四步，寫出詞頻向量。

句子A：(1，1，2，1，1，1，0，0，0)

句子B：(1，1，1，0，1，1，1，1，1)

到這里，問題就變成了如何計算這兩個向量的相似程度。我們可以把它們想象成空間中的兩條線段，都是從原點（[0, 0, ...]）出發，指向不同的方向。兩條線段之間形成一個夾角，如果夾角為0度，意味着方向相同、線段重合,這是表示兩個向量代表的文本完全相等；如果夾角為90度，意味着形成直角，方向完全不相似；如果夾角為180度，意味着方向正好相反。因此，我們可以通過夾角的大小，來判斷向量的相似程度。夾角越小，就代表越相似。

使用上面的公式(4)

 

 

計算兩個句子向量

句子A：(1，1，2，1，1，1，0，0，0)

和句子B：(1，1，1，0，1，1，1，1，1)的向量余弦值來確定兩個句子的相似度。

計算過程如下：

 

計算結果中夾角的余弦值為0.81非常接近於1，所以，上面的句子A和句子B是基本相似的。