一、程序分析,對程序中的四個函數做簡要說明
1、讀文件到緩沖區
def process_file(dst): # 讀文件到緩沖區 try: # 打開文件 f = open(dst, 'r') except IOError as s: print(s) return None try: # 讀文件到緩沖區 bvffer = f.read() except: print("Read File Error!") return None f.close() return bvffer
2、處理緩沖區
def process_buffer(bvffer): if bvffer: word_freq = {} # 下面添加處理緩沖區 bvffer代碼,統計每個單詞的頻率,存放在字典word_freq bvffer = bvffer.lower() for ch in '“‘!;,.?”': bvffer = bvffer.lower().replace(ch, " ") #將所有字母轉換成小寫,便於統計 words = bvffer.strip().split() #strip消除空白符,split以空格作為單詞分界 for word in words: word_freq[word] = word_freq.get(word, 0)+1 #讀取到的單詞存放到字典 return word_freq
3、輸出詞頻前十的單詞
ef output_result(word_freq): if word_freq: sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True) for item in sorted_word_freq[:10]: # 輸出 Top 10 的單詞 print(item[0], item[1])
4、主函數main對之前的方法進行整合
if __name__ == "__main__": dst = "A_Tale_of_Two_Cities.txt" bvffer = process_file(dst) word_freq = process_buffer(bvffer) output_result(word_freq)
二、代碼風格說明
在Python3中,Python 2 的 print 聲明已經被 print()
函數取代了,例如:
python2:print "Read File Error!"
python3:print("Read File Error!"),python3中print函數必須帶括號,否則會出錯。
三、運行結果截圖
對《雙城記(A Tale of Two Cities)》進行詞頻統計
四、性能分析
將主函數部分改為性能分析代碼
if __name__ == "__main__": cProfile.run("main()", "result") # 把分析結果保存到文件中,不過內容可讀性差...需要調用pstats模塊分析結果 p = pstats.Stats("result") # 創建Stats對象 p.strip_dirs().sort_stats("call").print_stats() # 按照調用的次數排序 p.strip_dirs().sort_stats("cumulative").print_stats() # 按執行時間次數排序 p.print_callees("process_buffer") # 查看process_buffer()函數中調用了哪些函數
運行時間:
代碼執行次數: