利用python實現對一個文本文件的詞頻統計功能


一、程序分析,對程序中的四個函數做簡要說明

1、讀文件到緩沖區

def process_file(dst):     # 讀文件到緩沖區
    try:     # 打開文件
        f = open(dst, 'r')
    except IOError as s:
        print(s)
        return None
    try:     # 讀文件到緩沖區
        bvffer = f.read()
    except:
        print("Read File Error!")
        return None
    f.close()
    return bvffer

2、處理緩沖區

def process_buffer(bvffer):
    if bvffer:
        word_freq = {}
        # 下面添加處理緩沖區 bvffer代碼,統計每個單詞的頻率,存放在字典word_freq
        bvffer = bvffer.lower()
        for ch in '“‘!;,.?”':
            bvffer = bvffer.lower().replace(ch, " ")  #將所有字母轉換成小寫,便於統計
        words = bvffer.strip().split()         #strip消除空白符,split以空格作為單詞分界
        for word in words:
            word_freq[word] = word_freq.get(word, 0)+1  #讀取到的單詞存放到字典
        return word_freq

3、輸出詞頻前十的單詞

ef output_result(word_freq):
    if word_freq:
        sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
        for item in sorted_word_freq[:10]:  # 輸出 Top 10 的單詞
            print(item[0], item[1])

4、主函數main對之前的方法進行整合

if __name__ == "__main__":
    dst = "A_Tale_of_Two_Cities.txt"
    bvffer = process_file(dst)
    word_freq = process_buffer(bvffer)
    output_result(word_freq)

 

二、代碼風格說明

在Python3中,Python 2 的 print 聲明已經被 print() 函數取代了,例如:

python2:print "Read File Error!"

python3:print("Read File Error!"),python3中print函數必須帶括號,否則會出錯。

 

三、運行結果截圖

對《雙城記(A Tale of Two Cities)》進行詞頻統計

 

 

四、性能分析

將主函數部分改為性能分析代碼

if __name__ == "__main__":
    cProfile.run("main()", "result")
    # 把分析結果保存到文件中,不過內容可讀性差...需要調用pstats模塊分析結果
    p = pstats.Stats("result")  # 創建Stats對象
    p.strip_dirs().sort_stats("call").print_stats()  # 按照調用的次數排序
    p.strip_dirs().sort_stats("cumulative").print_stats()  # 按執行時間次數排序
    p.print_callees("process_buffer")  # 查看process_buffer()函數中調用了哪些函數

運行時間:

代碼執行次數:

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM