在Spark1.2之后，Spark自帶實現TF-IDF接口，只要直接調用就可以，但實際上，Spark自帶的詞典大小設置較於古板，如果設置小了，則導致無法計算，如果設置大了，Driver端回收數據的時候，容易發生OOM，所以更多時候都是自己根據實際情況手動實現TF-IDF ...

1.信息檢索中的重要發明TF-IDF TF-IDF是一種統計方法，TF-IDF的主要思想是，如果某個詞或短語在一篇文章中出現的頻率TF高，並且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來分類。TF詞頻(Term Frequency)指的是某一個給定的詞語在該文 ...

本篇博文是數據挖掘部分的首篇，思路主要是先聊聊相似度的理論部分，下一篇是代碼實戰。 我們在比較事物時，往往會用到“不同”，“一樣”，“相似”等詞語，這些詞語背后都涉及到一個動作——雙方的比較。只有通過比較才能得出結論，究竟是相同還是不同。但是萬物真的有這么極端的區分 ...

　　前陣子做了一些IT opreation analysis的research，從產線上取了一些J2EE server運行狀態的數據（CPU,Menory...），打算通過訓練JVM的數據來建立分類模 ...

余弦相似度計算 余弦相似度用向量空間中兩個向量夾角的余弦值作為衡量兩個個體間差異的大小。余弦值越接近1，就表明夾角越接近0度，也就是兩個向量越相似，這就叫"余弦相似性"。 我們知道，對於兩個向量，如果他們之間的夾角越小，那么我們認為這兩個向量是越相似的。余弦相似性就是利用了這個理論 ...

使用 TF-IDF 加權的空間向量模型實現句子相似度計算 字符匹配層次計算句子相似度 計算兩個句子相似度的算法有很多種，但是對於從未了解過這方面算法的人來說，可能最容易想到的就是使用字符串匹配相關的算法，來檢查兩個句子所對應的字符串的字符相似程度。比如單純的進行子串匹配，搜索 A 串中能與 ...

"在主新聞下方，還提供多條相似的新聞。 為了找出相似的文章，需要用到"余弦相似性"（cosine ...

前幾天一個同學在看一段代碼，內容是使用gensim包提供的Word2Vec方法訓練得到詞向量，里面有幾個變量code、count、index、point看不懂，就向我求助，我大概給他講了下code是哈 ...