我已经爬取到了指定博主的新浪微博，然后我想从微博中提取出可以代表该博主兴趣特征的100个关键词，然后由这100个关键词提取出10个标签，代表博主的兴趣。我们此处使用基于Textrank权值的关键词提取方法。
输入：微博文本集合，如下图（每一行一条微博） 
程序原理如下：（请勿抄袭和转载） 
程序如下：
# -*- coding: utf-8 -*- __author__ = 'Bai Chenjia' import jieba.posseg as pseg import sys import time import networkx as nx import numpy as np reload(sys) sys.setdefaultencoding("utf-8") """ 1.将要处理的微博内容按每条微博进行分词，去除停用词，保留名词，形成一个二级列表返回 如：原始微博为：['这间酒店位于北京东三环，里面摆放很多雕塑，文艺气息十足', '答谢宴于晚上8点开始'] 经过处理后为：[[ '酒店', '位于, '北京, '东三环, '摆放, '雕塑, '文艺, '气息' ],[ '答谢', '宴于, '晚上' ]] """ def handel_weibo_data(): #读取要处理的微博正文提取名词，去除停用词 fp = open("f://emotion/mysite/weibo_crawler/chinese_weibo.txt", 'r') weibo_data = [] # 所有的微博，为一个二级列表[[句子][句子][句子]]其中句子已经被分词去停用词并保留名词 for line in fp.readlines(): # 按行处理 contents = [] line = line.strip() line.decode('utf-8') seg_lines = pseg.cut(line) # 分词标注 for seg_line in seg_lines: # 判断如果是名词则保留 if seg_line.flag == 'n' or seg_line.flag == 'nr' or seg_line.flag == 'ns' or seg_line.flag == 'nt' or seg_line.flag == 'nz': contents.append(seg_line.word) # 保留名词 weibo_data.append(contents) fp.close() return weibo_data """ 2.构建矩阵。 方法：用户微博文本构建以候选关键词（即选取的名词）为节点的无向图 滑动窗口定为一条微博的长度，即倘若两个词在同一条微博中出现，就认为它们之间存在较强的语义联系，共现次数加1 对每一条微博进行同样的词对共现次数提取，图节点间边的权重记为它们在该用户微博文本中的共现次数 最后用pagerank算法计算每个单词的权重，提取权重排名前100的构成该用户微博的关键词，写入文件 """ def build_matrix(): ######第一步构建 词 和 序号的字典 word_index = {} # 词为键，序号为值 index_word = {} # 序号为键，词为值 weibo_data = handel_weibo_data() # 对原始微博数据进行处理， index = 0 for sent in weibo_data: # 对于每句话 for word in sent: # 对每句话中的每个词 if not word in word_index.keys(): word_index[word] = index index_word[index] = word index += 1 words_number = index #print "words_number", words_number #######第二步构建矩阵 graph = np.zeros((words_number, words_number)) # 构建全零矩阵 for word_list in weibo_data: # 每句话 for i in range(len(word_list)): # 对每句话中的词进行两两配对，将在一条微博中出现的词对填充到图中 for j in range(i, len(word_list)): w1 = word_list[i] w2 = word_list[j] # 两个词出现在一条微博中 index1 = word_index[w1] index2 = word_index[w2] graph[index1][index2] += 1 # 图中对应的边权值加1 graph[index2][index1] += 1 # 无向图，为对称矩阵 ######第三步，用networkx中的pagerank算法处理无向图，得到排序后的关键词 nx_graph = nx.from_numpy_matrix(graph) # 导入networdx scores = nx.pagerank(nx_graph, alpha=0.85) # 调用pagerank算法 sorted_scores = sorted(scores.items(), key=lambda item: item[1], reverse=True) # 得分按照正序排序 key_words = [] # 保存（词，权值）元组 for index, score in sorted_scores: if index_word[index] == u'网页' or index_word[index] == u'链接' or len(index_word[index]) == 1: continue key_words.append((index_word[index], score)) ########第四步，将排名前100的关键词写入文件 fp_textrank_result = open('f://emotion/mysite/Label_extract/result_textrank.txt', 'w+') for i in range(100): fp_textrank_result.write(key_words[i][0] + ' ' + str(round(key_words[i][1], 10))) fp_textrank_result.write('\n') fp_textrank_result.close() """ fp_test = open('f://emotion/mysite/Label_extract/test.txt', 'w+') for i in range(100): fp_test.write(key_words[i][0] + '、') fp_test.close() """ print "textrank key word calculate is success..." return key_words """ 3.后处理，提取出标签 方法：查看权值前100的关键词中是否有相邻的组合存在，仅抽取出在原文中出现次数超过 2 次的组合计算权重 扩展后的词串权重，为组成它的词语的权重之和。按照权重排序后，抽取前 10 作为自动生成的用户标签 """ def post_handel_textrank(): # 读取排名前100的词和权值 fp_result = open('f://emotion/mysite/Label_extract/result_textrank.txt', 'r') results = {} # 字典存储词和权值共100个 words = [] # 存储100个词 for result in fp_result.readlines(): result = result.strip() word, score = result.split(' ') # 按空格分割，分别为词和权值 results[word] = float(score) # str转为float words.append(word) fp_result.close() #读取原始微博连成字符串 fp_weibo = open('f://emotion/mysite/weibo_crawler/chinese_weibo.txt', 'r') weibo_list = [] for content in fp_weibo.readlines(): content = content.strip() weibo_list.append(content) fp_weibo.close() #将排名前100的词组成词对，查找在原始微博中出现的次数，并记录 labels = [] for i in range(100): for j in range(i, 100): str1 = words[i] + words[j] str2 = words[j] + words[i] # 连成词对的两种不同形式 if words[i] == "网页" or words[j] == '链接' or words[i] == '链接' or words[j] == '网页': continue if words[i] == words[j]: # 剔除噪音和相等的情况 continue str1_count = 0 # str1出现的次数 str2_count = 0 # str2出现的次数 for sent in weibo_list: str1_count += sent.count(str1) str2_count += sent.count(str2) if str1_count > 1: # 如果出现次数大于两次，则表示该标签比较稳定，可以加入考虑 #print str1 labels.append((str1, results[words[i]] + results[words[j]])) # 添加元组（词组，权值） if str2_count > 1: #print str2 labels.append((str2, results[words[i]] + results[words[j]])) # 添加元组（词组，权值） sorted_labels = sorted(labels, key=lambda w: w[1], reverse=True) # 按照词组的权值排序 set_sorted_labels = list(set(sorted_labels)) set_sorted_labels.sort(key=sorted_labels.index) # 去重 # 取得testrank值排序前10的标签组成result_labels作为返回值返回 textrank_result_labels = [] if len(set_sorted_labels) > 10: i = 0 for word1, score1 in set_sorted_labels: if i > 10: break i += 1 if word1 == '人民警': word1 = '人民警察' if word1 == '人温情': word1 = '人间温情' if word1 == '女大学': word1 = '女大学生' if word1 == '星沉船': word1 = '东方之星沉船' if word1 == '事件沉船': word1 = '沉船事件' if word1 == '中国工': word1 = '中国工人' if word1 == '北京时': word1 = '北京时间' textrank_result_labels.append((word1, score1)) else: textrank_result_labels = set_sorted_labels[:] print "textrank label extract is success..." for label in textrank_result_labels: print label[0], label[1] return textrank_result_labels if __name__ == '__main__': start = time.clock() #weibo_data = handel_weibo_data() key_words = build_matrix() textrank_result_labels = post_handel_textrank() print "running time：" + str(time.clock()-start) + " s"