word2vec 是 Google 於 2013 年開源推出的一個用於獲取 word vector 的工具包，它簡單、高效，因此引起了很多人的關注。由於 word2vec 的作者 Tomas Mikolov 在兩篇相關的論文 [3,4] 中並沒有談及太多算法細節，因而在一定程度上增加了這個工具包的神秘感。一些按捺不住的人於是選擇了通過解剖源代碼的方式來一窺究竟。
第一次接觸 word2vec 是 2013 年的 10 月份，當時讀了復旦大學鄭驍慶老師發表的論文[7]，其主要工作是將 SENNA 的那套算法（[8]）搬到中文場景。覺得挺有意思，於是做了一個實現（可參見[20]），但苦於其中字向量的訓練時間太長，便選擇使用 word2vec 來提供字向量，沒想到中文分詞效果還不錯，立馬對 word2vec 刮目相看了一把，好奇心也隨之增長。
后來，陸陸續續看到了 word2vec 的一些具體應用，而 Tomas Mikolov 團隊本身也將其推廣到了句子和文檔（[6]），因此覺得確實有必要對 word2vec 里的算法原理做個了解，以便對他們的后續研究進行追蹤。於是，沉下心來，仔細讀了一回代碼，算是基本搞明白里面的做法了。第一個感覺就是，“明明是個很簡單的淺層結構，為什么會被那么多人沸沸揚揚地說成是 Deep Learning 呢？”
解剖 word2vec 源代碼的過程中，除了算法層面的收獲，其實編程技巧方面的收獲也頗多。既然花了功夫來讀代碼，還是把理解到的東西整理成文，給有需要的朋友提供點參考吧。
在整理本文的過程中, 和深度學習群的群友@北流浪子（[15,16]）進行了多次有益的討論，在此表示感謝。另外，也參考了其他人的一些資料，都列在參考文獻了，在此對他們的工作也一並表示感謝。
作者：peghoty
出處: http://blog.csdn.net/itplus/article/details/37969519
歡迎轉載/分享, 但請務必聲明文章出處.