Python 結巴分詞 關鍵詞抽取分析

關鍵詞抽取就是從文本里面把跟這篇文檔意義最相關的一些詞抽取出來。這個可以追溯到文獻檢索初期，當時還不支持全文搜索的時候，關鍵詞就可以作為搜索這篇論文的詞語。因此，目前依然可以在論文中看到關鍵詞這一項。

除了這些，關鍵詞還可以在文本聚類、分類、自動摘要等領域中有着重要的作用。比如在聚類時將關鍵詞相似的幾篇文檔看成一個團簇，可以大大提高聚類算法的收斂速度；從某天所有的新聞中提取出這些新聞的關鍵詞，就可以大致了解那天發生了什么事情；或者將某段時間內幾個人的微博拼成一篇長文本，然后抽取關鍵詞就可以知道他們主要在討論什么話題。

總之，關鍵詞就是最能夠反映出文本主題或者意思的詞語。但是網絡上寫文章的人不會像寫論文那樣告訴你本文的關鍵詞是什么，這個時候就需要利用計算機自動抽取出關鍵詞，算法的好壞直接決定了后續步驟的效果。

關鍵詞抽取從方法來說大致有兩種：

• 第一種是關鍵詞分配，就是有一個給定的關鍵詞庫，然后新來一篇文檔，從詞庫里面找出幾個詞語作為這篇文檔的關鍵詞；
• 第二種是關鍵詞抽取，就是新來一篇文檔，從文檔中抽取一些詞語作為這篇文檔的關鍵詞；

目前大多數領域無關的關鍵詞抽取算法（領域無關算法的意思就是無論什么主題或者領域的文本都可以抽取關鍵詞的算法）和它對應的庫都是基於后者的。從邏輯上說，后者比前着在實際使用中更有意義。

從算法的角度來看，關鍵詞抽取算法主要有兩類：

• 有監督學習算法，將關鍵詞抽取過程視為二分類問題，先抽取出候選詞，然后對於每個候選詞划定標簽，要么是關鍵詞，要么不是關鍵詞，然后訓練關鍵詞抽取分類器。當新來一篇文檔時，抽取出所有的候選詞，然后利用訓練好的關鍵詞抽取分類器，對各個候選詞進行分類，最終將標簽為關鍵詞的候選詞作為關鍵詞；
• 無監督學習算法，先抽取出候選詞，然后對各個候選詞進行打分，然后輸出topK個分值最高的候選詞作為關鍵詞。根據打分的策略不同，有不同的算法，例如TF-IDF，TextRank等算法；

jieba分詞系統中實現了兩種關鍵詞抽取算法，分別是基於TF-IDF關鍵詞抽取算法和基於TextRank關鍵詞抽取算法，兩類算法均是無監督學習的算法，下面將會通過實例講解介紹如何使用jieba分詞的關鍵詞抽取接口以及通過源碼講解其實現的原理。

2 示例

下面將會依次介紹利用jieba分詞系統中的TF-IDF及TextRank接口抽取關鍵詞的過程。

2.1 基於TF-IDF算法進行關鍵詞抽取

基於TF-IDF算法進行關鍵詞抽取的示例代碼如下所示，

from jieba import analyse # 引入TF-IDF關鍵詞抽取接口 tfidf = analyse.extract_tags # 原始文本 text = "線程是程序執行時的最小單位，它是進程的一個執行流，\ 是CPU調度和分派的基本單位，一個進程可以由很多個線程組成，\ 線程間共享進程的所有資源，每個線程有自己的堆棧和局部變量。\ 線程由CPU獨立調度執行，在多CPU環境下就允許多個線程同時運行。\ 同樣多線程也可以實現並發操作，每個請求分配一個線程來處理。" # 基於TF-IDF算法進行關鍵詞抽取 keywords = tfidf(text) print "keywords by tfidf:" # 輸出抽取出的關鍵詞 for keyword in keywords: print keyword + "/",

控制台輸出，

keywords by tfidf: 線程/ CPU/ 進程/ 調度/ 多線程/ 程序執行/ 每個/ 執行/ 堆棧/ 局部變量/ 單位/ 並發/ 分派/ 一個/ 共享/ 請求/ 最小/ 可以/ 允許/ 分配/ 

2.2 基於TextRank算法進行關鍵詞抽取

基於TextRank算法進行關鍵詞抽取的示例代碼如下所示，

from jieba import analyse # 引入TextRank關鍵詞抽取接口 textrank = analyse.textrank # 原始文本 text = "線程是程序執行時的最小單位，它是進程的一個執行流，\ 是CPU調度和分派的基本單位，一個進程可以由很多個線程組成，\ 線程間共享進程的所有資源，每個線程有自己的堆棧和局部變量。\ 線程由CPU獨立調度執行，在多CPU環境下就允許多個線程同時運行。\ 同樣多線程也可以實現並發操作，每個請求分配一個線程來處理。" print "\nkeywords by textrank:" # 基於TextRank算法進行關鍵詞抽取 keywords = textrank(text) # 輸出抽取出的關鍵詞 for keyword in keywords: print keyword + "/",

控制台輸出，

keywords by textrank: 線程/ 進程/ 調度/ 單位/ 操作/ 請求/ 分配/ 允許/ 基本/ 共享/ 並發/ 堆棧/ 獨立/ 執行/ 分派/ 組成/ 資源/ 實現/ 運行/ 處理/

3 理論分析

下面將會依次分析TF-IDF算法及TextRank算法的原理。

3.1 TF-IDF算法分析

在信息檢索理論中，TF-IDF是Term Frequency - Inverse Document Frequency的簡寫。TF-IDF是一種數值統計，用於反映一個詞對於語料中某篇文檔的重要性。在信息檢索和文本挖掘領域，它經常用於因子加權。

TF-IDF的主要思想就是：如果某個詞在一篇文檔中出現的頻率高，也即TF高；並且在語料庫中其他文檔中很少出現，即DF的低，也即IDF高，則認為這個詞具有很好的類別區分能力。

TF-IDF在實際中主要是將二者相乘，也即TF * IDF，TF為詞頻（Term Frequency），表示詞t在文檔d中出現的頻率；IDF為反文檔頻率（Inverse Document Frequency），表示語料庫中包含詞t的文檔的數目的倒數。

TF公式：

TF計算公式為，

TF=count(t)count(di)      

式中，count(t)表示文檔di中包含詞t的個數；

count(di)表示文檔di的詞的總數；

IDF公式：

IDF計算公式為，

IDF=num(corpus)num(t)+1    

式中，num(corpus)表示語料庫corpus中文檔的總數；

num(t)表示語料庫corpus中包含t的文檔的數目；

應用到關鍵詞抽取：

1. 預處理，首先進行分詞和詞性標注，將滿足指定詞性的詞作為候選詞； 2. 分別計算每個詞的TF-IDF值； 3. 根據每個詞的TF-IDF值降序排列，並輸出指定個數的詞匯作為可能的關鍵詞；

3.2 TextRank算法分析

類似於PageRank的思想，將文本中的語法單元視作圖中的節點，如果兩個語法單元存在一定語法關系（例如共現），則這兩個語法單元在圖中就會有一條邊相互連接，通過一定的迭代次數，最終不同的節點會有不同的權重，權重高的語法單元可以作為關鍵詞。

節點的權重不僅依賴於它的入度結點，還依賴於這些入度結點的權重，入度結點越多，入度結點的權重越大，說明這個結點的權重越高；

TextRank迭代計算公式為，

WS(Vi)=(1−d)+d∗∑Vj∈In(Vi)wji∑Vk∈Out(Vj)wjk∗WS(Vj)                        

節點i的權重取決於節點i的鄰居節點中i-j這條邊的權重 / j的所有出度的邊的權重 * 節點j的權重，將這些鄰居節點計算的權重相加，再乘上一定的阻尼系數，就是節點i的權重；

阻尼系數 d 一般取0.85；

算法通用流程：

1. 標識文本單元，並將其作為頂點加入到圖中； 2. 標識文本單元之間的關系，使用這些關系作為圖中頂點之間的邊，邊可以是有向或者無向，加權或者無權； 3. 基於上述公式，迭代直至收斂； 4. 按照頂點的分數降序排列；

• 1.本模型使用co-occurrence關系，如果兩個頂點相應的語義單元共同出現在一個窗口中（窗口大小從2-10不等），那么就連接這兩個頂點；

• 2.添加頂點到圖中時，需要考慮語法過濾，例如只保留特定詞性（如形容詞和名詞）的詞；

應用到關鍵短語抽取：

1. 預處理，首先進行分詞和詞性標注，將單個word作為結點添加到圖中； 2. 設置語法過濾器，將通過語法過濾器的詞匯添加到圖中；出現在一個窗口中的詞匯之間相互形成一條邊； 3. 基於上述公式，迭代直至收斂；一般迭代20-30次，迭代閾值設置為0.0001； 4. 根據頂點的分數降序排列，並輸出指定個數的詞匯作為可能的關鍵詞； 5. 后處理，如果兩個詞匯在文本中前后連接，那么就將這兩個詞匯連接在一起，作為關鍵短語；

4 源碼分析

jieba分詞的關鍵詞抽取功能，是在jieba/analyse目錄下實現的。

其中，__init__.py主要用於封裝jieba分詞的關鍵詞抽取接口；

tfidf.py實現了基於TF-IDF算法抽取關鍵詞；

textrank.py實現了基於TextRank算法抽取關鍵詞；

4.1 TF-IDF算法抽取關鍵詞源碼分析

基於TF-IDF算法抽取關鍵詞的主調函數是TFIDF.extract_tags函數，主要是在jieba/analyse/tfidf.py中實現。

其中TFIDF是為TF-IDF算法抽取關鍵詞所定義的類。類在初始化時，默認加載了分詞函數tokenizer = jieba.dt、詞性標注函數postokenizer = jieba.posseg.dt、停用詞stop_words = self.STOP_WORDS.copy()、idf詞典idf_loader = IDFLoader(idf_path or DEFAULT_IDF)等，並獲取idf詞典及idf中值（如果某個詞沒有出現在idf詞典中，則將idf中值作為這個詞的idf值）。

def __init__(self, idf_path=None): # 加載 self.tokenizer = jieba.dt self.postokenizer = jieba.posseg.dt self.stop_words = self.STOP_WORDS.copy() self.idf_loader = IDFLoader(idf_path or DEFAULT_IDF) self.idf_freq, self.median_idf = self.idf_loader.get_idf()

然后開始通過TF-IDF算法進行關鍵詞抽取。

首先根據是否傳入了詞性限制集合，來決定是調用詞性標注接口還是調用分詞接口。例如，詞性限制集合為["ns", "n", "vn", "v", "nr"]，表示只能從詞性為地名、名詞、動名詞、動詞、人名這些詞性的詞中抽取關鍵詞。

1） 如果傳入了詞性限制集合，首先調用詞性標注接口，對輸入句子進行詞性標注，得到分詞及對應的詞性；依次遍歷分詞結果，如果該詞的詞性不在詞性限制集合中，則跳過；如果詞的長度小於2，或者詞為停用詞，則跳過；最后將滿足條件的詞添加到詞頻詞典中，出現的次數加1；然后遍歷詞頻詞典，根據idf詞典得到每個詞的idf值，並除以詞頻詞典中的次數總和，得到每個詞的tf * idf值；如果設置了權重標志位，則根據tf-idf值對詞頻詞典中的詞進行降序排序，然后輸出topK個詞作為關鍵詞；

2） 如果沒有傳入詞性限制集合，首先調用分詞接口，對輸入句子進行分詞，得到分詞；依次遍歷分詞結果，如果詞的長度小於2，或者詞為停用詞，則跳過；最后將滿足條件的詞添加到詞頻詞典中，出現的次數加1；然后遍歷詞頻詞典，根據idf詞典得到每個詞的idf值，並除以詞頻詞典中的次數總和，得到每個詞的tf * idf值；如果設置了權重標志位，則根據tf-idf值對詞頻詞典中的詞進行降序排序，然后輸出topK個詞作為關鍵詞；

def extract_tags(self, sentence, topK=20, withWeight=False, allowPOS=(), withFlag=False): # 傳入了詞性限制集合 if allowPOS: allowPOS = frozenset(allowPOS) # 調用詞性標注接口 words = self.postokenizer.cut(sentence) # 沒有傳入詞性限制集合 else: # 調用分詞接口 words = self.tokenizer.cut(sentence) freq = {} for w in words: if allowPOS: if w.flag not in allowPOS: continue elif not withFlag: w = w.word wc = w.word if allowPOS and withFlag else w # 判斷詞的長度是否小於2，或者詞是否為停用詞 if len(wc.strip()) < 2 or wc.lower() in self.stop_words: continue # 將其添加到詞頻詞典中，次數加1 freq[w] = freq.get(w, 0.0) + 1.0 # 統計詞頻詞典中的總次數 total = sum(freq.values()) for k in freq: kw = k.word if allowPOS and withFlag else k # 計算每個詞的tf-idf值 freq[k] *= self.idf_freq.get(kw, self.median_idf) / total # 根據tf-idf值進行排序 if withWeight: tags = sorted(freq.items(), key=itemgetter(1), reverse=True) else: tags = sorted(freq, key=freq.__getitem__, reverse=True) # 輸出topK個詞作為關鍵詞 if topK: return tags[:topK] else: return tags

4.2 TextRank算法抽取關鍵詞源碼分析

基於TextRank算法抽取關鍵詞的主調函數是TextRank.textrank函數，主要是在jieba/analyse/textrank.py中實現。

其中，TextRank是為TextRank算法抽取關鍵詞所定義的類。類在初始化時，默認加載了分詞函數和詞性標注函數tokenizer = postokenizer = jieba.posseg.dt、停用詞表stop_words = self.STOP_WORDS.copy()、詞性過濾集合pos_filt = frozenset(('ns', 'n', 'vn', 'v'))，窗口span = 5，(("ns", "n", "vn", "v"))表示詞性為地名、名詞、動名詞、動詞。

首先定義一個無向有權圖，然后對句子進行分詞；依次遍歷分詞結果，如果某個詞i滿足過濾條件（詞性在詞性過濾集合中，並且詞的長度大於等於2，並且詞不是停用詞），然后將這個詞之后窗口范圍內的詞j（這些詞也需要滿足過濾條件），將它們兩兩（詞i和詞j）作為key，出現的次數作為value，添加到共現詞典中；

然后，依次遍歷共現詞典，將詞典中的每個元素，key = （詞i，詞j），value = 詞i和詞j出現的次數，其中詞i，詞j作為一條邊起始點和終止點，共現的次數作為邊的權重，添加到之前定義的無向有權圖中。

然后對這個無向有權圖進行迭代運算textrank算法，最終經過若干次迭代后，算法收斂，每個詞都對應一個指標值；

如果設置了權重標志位，則根據指標值值對無向有權圖中的詞進行降序排序，最后輸出topK個詞作為關鍵詞；

def textrank(self, sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v'), withFlag=False): self.pos_filt = frozenset(allowPOS) # 定義無向有權圖 g = UndirectWeightedGraph() # 定義共現詞典 cm = defaultdict(int) # 分詞 words = tuple(self.tokenizer.cut(sentence)) # 依次遍歷每個詞 for i, wp in enumerate(words): # 詞i 滿足過濾條件 if self.pairfilter(wp): # 依次遍歷詞i 之后窗口范圍內的詞 for j in xrange(i + 1, i + self.span): # 詞j 不能超出整個句子 if j >= len(words): break # 詞j不滿足過濾條件，則跳過 if not self.pairfilter(words[j]): continue # 將詞i和詞j作為key，出現的次數作為value，添加到共現詞典中 if allowPOS and withFlag: cm[(wp, words[j])] += 1 else: cm[(wp.word, words[j].word)] += 1 # 依次遍歷共現詞典的每個元素，將詞i，詞j作為一條邊起始點和終止點，共現的次數作為邊的權重 for terms, w in cm.items(): g.addEdge(terms[0], terms[1], w) # 運行textrank算法 nodes_rank = g.rank() # 根據指標值進行排序 if withWeight: tags = sorted(nodes_rank.items(), key=itemgetter(1), reverse=True) else: tags = sorted(nodes_rank, key=nodes_rank.__getitem__, reverse=True) # 輸出topK個詞作為關鍵詞 if topK: return tags[:topK] else: return tags

其中，無向有權圖的的定義及實現是在UndirectWeightedGraph類中實現的。根據UndirectWeightedGraph類的初始化函數__init__，我們可以發現，所謂的無向有權圖就是一個詞典，詞典的key是后續要添加的詞，詞典的value，則是一個由（起始點，終止點，邊的權重）構成的三元組所組成的列表，表示以這個詞作為起始點的所有的邊。

無向有權圖添加邊的操作是在addEdge函數中完成的，因為是無向圖，所以我們需要依次將start作為起始點，end作為終止點，然后再將start作為終止點，end作為起始點，這兩條邊的權重是相同的。

def addEdge(self, start, end, weight): # use a tuple (start, end, weight) instead of a Edge object self.graph[start].append((start, end, weight)) self.graph[end].append((end, start, weight))

執行textrank算法迭代是在rank函數中完成的。

首先對每個結點賦予相同的權重，以及計算出該結點的所有出度的次數之和；

然后迭代若干次，以確保得到穩定的結果；

在每一次迭代中，依次遍歷每個結點；對於結點n，首先根據無向有權圖得到結點n的所有
入度結點（對於無向有權圖，入度結點與出度結點是相同的，都是與結點n相連的結點），在前面我們已經計算出這個入度結點的所有出度的次數，而它對於結點n的權值的貢獻等於它本身的權值 乘以 它與結點n的共現次數 / 這個結點的所有出度的次數 ，將各個入度結點得到的權值相加，再乘以一定的阻尼系數，即可得到結點n的權值；

迭代完成后，對權值進行歸一化，並返回各個結點及其對應的權值。

def rank(self): ws = defaultdict(float) outSum = defaultdict(float) wsdef = 1.0 / (len(self.graph) or 1.0) # 初始化各個結點的權值 # 統計各個結點的出度的次數之和 for n, out in self.graph.items(): ws[n] = wsdef outSum[n] = sum((e[2] for e in out), 0.0) # this line for build stable iteration sorted_keys = sorted(self.graph.keys()) # 遍歷若干次 for x in xrange(10): # 10 iters # 遍歷各個結點 for n in sorted_keys: s = 0 # 遍歷結點的入度結點 for e in self.graph[n]: # 將這些入度結點貢獻后的權值相加 # 貢獻率 = 入度結點與結點n的共現次數 / 入度結點的所有出度的次數 s += e[2] / outSum[e[1]] * ws[e[1]] # 更新結點n的權值 ws[n] = (1 - self.d) + self.d * s (min_rank, max_rank) = (sys.float_info[0], sys.float_info[3]) # 獲取權值的最大值和最小值 for w in itervalues(ws): if w < min_rank: min_rank = w if w > max_rank: max_rank = w # 對權值進行歸一化 for n, w in ws.items(): # to unify the weights, don't *100. ws[n] = (w - min_rank / 10.0) / (max_rank - min_rank / 10.0) return ws

4.3 使用自定義停用詞集合

jieba分詞中基於TF-IDF算法抽取關鍵詞以及基於TextRank算法抽取關鍵詞均需要利用停用詞對候選詞進行過濾。實現TF-IDF算法抽取關鍵詞的類TFIDF和實現TextRank算法抽取關鍵詞的類TextRank都是類KeywordExtractor的子類。而在類KeywordExtractor，實現了一個方法，可以根據用戶指定的路徑，加載用戶提供的停用詞集合。

類KeywordExtractor是在jieba/analyse/tfidf.py中實現。

類KeywordExtractor首先提供了一個默認的名為STOP_WORDS的停用詞集合。

然后，類KeywordExtractor實現了一個方法set_stop_words，可以根據用戶指定的路徑，加載用戶提供的停用詞集合。

可以將extra_dict/stop_words.txt拷貝出來，並在文件末尾兩行分別加入“一個”和
“每個”這兩個詞，作為用戶提供的停用詞文件，使用用戶提供的停用詞集合進行關鍵詞抽取的實例代碼如下，

from jieba import analyse # 引入TF-IDF關鍵詞抽取接口 tfidf = analyse.extract_tags # 使用自定義停用詞集合 analyse.set_stop_words("stop_words.txt") # 原始文本 text = "線程是程序執行時的最小單位，它是進程的一個執行流，\ 是CPU調度和分派的基本單位，一個進程可以由很多個線程組成，\ 線程間共享進程的所有資源，每個線程有自己的堆棧和局部變量。\ 線程由CPU獨立調度執行，在多CPU環境下就允許多個線程同時運行。\ 同樣多線程也可以實現並發操作，每個請求分配一個線程來處理。" # 基於TF-IDF算法進行關鍵詞抽取 keywords = tfidf(text) print "keywords by tfidf:" # 輸出抽取出的關鍵詞 for keyword in keywords: print keyword + "/",

關鍵詞結果為，

keywords by tfidf: 線程/ CPU/ 進程/ 調度/ 多線程/ 程序執行/ 執行/ 堆棧/ 局部變量/ 單位/ 並發/ 分派/ 共享/ 請求/ 最小/ 可以/ 允許/ 分配/ 多個/ 運行/

對比章節2.1中的關鍵詞抽取結果，可以發現“一個”和“每個”這兩個詞沒有抽取出來。

keywords by tfidf: 線程/ CPU/ 進程/ 調度/ 多線程/ 程序執行/ 每個/ 執行/ 堆棧/ 局部變量/ 單位/ 並發/ 分派/ 一個/ 共享/ 請求/ 最小/ 可以/ 允許/ 分配/ 

實現原理 ，這里仍然以基於TF-IDF算法抽取關鍵詞為例。

前面已經介紹了，jieba/analyse/__init__.py主要用於封裝jieba分詞的關鍵詞抽取接口，在__init__.py首先將類TFIDF實例化為對象default_tfidf，而類TFIDF在初始化時會設置停用詞表，我們知道類TFIDF是類KeywordExtractor的子類，而類KeywordExtractor中提供了一個名為STOP_WORDS的停用詞集合，因此類TFIDF在初始化時先將類KeywordExtractor中的STOP_WORDS拷貝過來，作為自己的停用詞集合stop_words。

# 實例化TFIDF類 default_tfidf = TFIDF() # 實例化TextRank類 default_textrank = TextRank() extract_tags = tfidf = default_tfidf.extract_tags set_idf_path = default_tfidf.set_idf_path textrank = default_textrank.extract_tags # 用戶設置停用詞集合接口 def set_stop_words(stop_words_path): # 更新對象default_tfidf中的停用詞集合 default_tfidf.set_stop_words(stop_words_path) # 更新對象default_textrank中的停用詞集合 default_textrank.set_stop_words(stop_words_path)

如果用戶需要使用自己提供的停用詞集合，則需要調用analyse.set_stop_words(stop_words_path)這個函數，set_stop_words函數是在類KeywordExtractor實現的。set_stop_words函數執行時，會更新對象default_tfidf中的停用詞集合stop_words，當set_stop_words函數執行完畢時，stop_words也就是更新后的停用詞集合。我們可以做個實驗，驗證在調用analyse.set_stop_words(stop_words_path)函數前后，停用詞集合是否發生改變。

from jieba import analyse import copy # 將STOP_WORDS集合深度拷貝出來 stopwords0 = copy.deepcopy(analyse.default_tfidf.STOP_WORDS) # 設置用戶自定停用詞集合之前，將停用詞集合深度拷貝出來 stopwords1 = copy.deepcopy(analyse.default_tfidf.stop_words) print stopwords0 == stopwords1 print stopwords1 - stopwords0 # 設置用戶自定停用詞集合 analyse.set_stop_words("stop_words.txt") # 設置用戶自定停用詞集合之后，將停用詞集合深度拷貝出來 stopwords2 = copy.deepcopy(analyse.default_tfidf.stop_words) print stopwords1 == stopwords2 print stopwords2 - stopwords1

結果如下所示，

True set([]) False set([u'\u6bcf\u4e2a', u'\u8207', u'\u4e86', u'\u4e00\u500b', u'\u800c', u'\u4ed6\u5011', u'\u6216', u'\u7684', u'\u4e00\u4e2a', u'\u662f', u'\u5c31', u'\u4f60\u5011', u'\u5979\u5011', u'\u6c92\u6709', u'\u57fa\u672c', u'\u59b3\u5011', u'\u53ca', u'\u548c', u'\u8457', u'\u6211\u5011', u'\u662f\u5426', u'\u90fd'])

說明：

• 沒有加載用戶提供的停用詞集合之前，停用詞集合就是類KeywordExtractor中的STOP_WORDS拷貝過來的；
• 加載用戶提供的停用詞集合之后，停用詞集合在原有的基礎上進行了擴；

證明了我們的想法。