一、程序分析,对程序中的四个函数做简要说明
1、读文件到缓冲区
def process_file(dst): # 读文件到缓冲区 try: # 打开文件 f = open(dst, 'r') except IOError as s: print(s) return None try: # 读文件到缓冲区 bvffer = f.read() except: print("Read File Error!") return None f.close() return bvffer
2、处理缓冲区
def process_buffer(bvffer): if bvffer: word_freq = {} # 下面添加处理缓冲区 bvffer代码,统计每个单词的频率,存放在字典word_freq bvffer = bvffer.lower() for ch in '“‘!;,.?”': bvffer = bvffer.lower().replace(ch, " ") #将所有字母转换成小写,便于统计 words = bvffer.strip().split() #strip消除空白符,split以空格作为单词分界 for word in words: word_freq[word] = word_freq.get(word, 0)+1 #读取到的单词存放到字典 return word_freq
3、输出词频前十的单词
ef output_result(word_freq): if word_freq: sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True) for item in sorted_word_freq[:10]: # 输出 Top 10 的单词 print(item[0], item[1])
4、主函数main对之前的方法进行整合
if __name__ == "__main__": dst = "A_Tale_of_Two_Cities.txt" bvffer = process_file(dst) word_freq = process_buffer(bvffer) output_result(word_freq)
二、代码风格说明
在Python3中,Python 2 的 print 声明已经被 print()
函数取代了,例如:
python2:print "Read File Error!"
python3:print("Read File Error!"),python3中print函数必须带括号,否则会出错。
三、运行结果截图
对《双城记(A Tale of Two Cities)》进行词频统计
四、性能分析
将主函数部分改为性能分析代码
if __name__ == "__main__": cProfile.run("main()", "result") # 把分析结果保存到文件中,不过内容可读性差...需要调用pstats模块分析结果 p = pstats.Stats("result") # 创建Stats对象 p.strip_dirs().sort_stats("call").print_stats() # 按照调用的次数排序 p.strip_dirs().sort_stats("cumulative").print_stats() # 按执行时间次数排序 p.print_callees("process_buffer") # 查看process_buffer()函数中调用了哪些函数
运行时间:
代码执行次数: