文本數據分詞，詞頻統計，可視化 - Python

詞頻、分詞和可視化結合爬蟲，做一些作業。

• 爬蟲庫requests
• 詞頻統計庫collections
• 數據處理庫numpy
• 結巴分詞庫jieba
• 可視化庫pyecharts等等。

數據的話直接從網上摳一些東西，這里摳一篇新聞。要導入的庫，一次性導入：

import collections
import re
import jieba
import requests
import parsel
from pyecharts.charts import Bar
from pyecharts.globals import ThemeType
import pyecharts.options as opts
from stylecloud import stylecloud
from wordcloud import WordCloud
from PIL import Image
from matplotlib import pyplot as plt
import numpy as np

第一部分，提取網頁內容並寫入到文檔。

def get_text():
    url = 'http://cpc.people.com.cn/n1/2022/0110/c164113-32327931.html'
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36',
    }

    response = requests.get(url=url, headers=headers)
    response.raise_for_status()
    response.encoding = response.apparent_encoding
    print(response.text)
    selector = parsel.Selector(response.text)
    textResults = selector.xpath('//div[@class="show_text"]/p/text()').getall()
    # 這種方式沒有獲取到粗體
    with open('test.txt', mode='w+', encoding='utf-8') as f:
        for item in textResults:
            f.write(item + '\n') #

第二部分，詞頻統計，用collections，以便做統計詞頻的條形圖的時候使用。

def words_counts():
    with open('test.txt', mode='r', encoding='utf-8') as f:
        strData = f.read()

    # 替換符合parrtern的文本
    pattern = re.compile(r'\t|,|/|。|\n|\.|-|:|;|\)|\(|\?|，。，！”"')
    strData = re.sub(pattern, '', strData)  # 將符合模式的字符去除

    # 開始分詞，精准模式
    words = jieba.cut(strData, cut_all=False)
    resultWords = [] # 空列表
    # 自定義停用詞
    stopWords = [u'的', u'要', u'“', u'”', u'和', u'，', u'為', u'是',
                    '以' u'隨着', u'對於', u'對', u'等', u'能', u'都', u'。',
                    u' ', u'、', u'中', u'在', u'了', u'通常', u'如果', u'我',
                    u'她', u'（', u'）', u'他', u'你', u'？', u'—', u'就',
                    u'着', u'說', u'上', u'這', u'那', u'有', u'也',
                    u'什么', u'·', u'將', u'沒有', u'到', u'不', u'去']
    #
    for word in words:
        if word not in stopWords:
            resultWords.append(word)
    # print(resultWords) #  打印結果

    # 開始統計詞頻
    word_counts = collections.Counter(resultWords) # 一個詞頻統計對象
    # print(word_counts)

    # 獲取高頻詞的列表
    word_counts_all = word_counts.most_common() # 一個列表，列表里是元組
    # print(word_counts_all)
    word_counts_top10 = word_counts.most_common(10)
    return word_counts_top10

第三部分，利用stylecloud和wordcloud制作詞。

首先是stylecloud：

def gen_style_words():
    with open('test.txt', mode='r', encoding='utf-8') as f:
        word_list = jieba.cut(f.read())
        print(word_list)
        result_words = ' '.join(word_list)
        print(result_words)
    # 制作詞雲
    # 停用詞
    stopWords = [u'的', u'要', u'“', u'”', u'和', u'，', u'為', u'是',
                 '以' u'隨着', u'對於', u'對', u'等', u'能', u'都', u'。',
                 u' ', u'、', u'中', u'在', u'了', u'通常', u'如果', u'我',
                 u'她', u'（', u'）', u'他', u'你', u'？', u'—', u'就',
                 u'着', u'說', u'上', u'這', u'那', u'有', u'也',
                 u'什么', u'·', u'將', u'沒有', u'到', u'不', u'去']
    stylecloud.gen_stylecloud(
        text=result_words,
        size=1280,  # stylecloud的大小，長度和寬度,
        font_path='C:\\Windows\\Fonts\\simhei.ttf',  # 字體路徑
        max_words=150,  # stylecloud中能容的最多詞數
        max_font_size=200,  # 最大字號
        # invert_mask=, # 蒙版
        custom_stopwords=stopWords,  # 停用詞
        output_name='1.png',  # 輸出的名字
    )

結果展示：

其次是worldcloud：

def word_cloud_style():
    """
    另外一種生成詞雲的方法
    """
    # f = open('../Spiders/content.txt', 'r', encoding='utf-8')  # 這是數據源，也是想生成詞雲的數據
    # txt = f.read()  # 讀取文件
    # print(type(txt))
    # print('=========================================')
    # f.close()  # 關閉文件，其實可以用withopen
    with open('test.txt', mode='r', encoding='utf-8') as f:
        txt = f.read()
    # 如果是文章的話，需要用到jieba分詞，分完之后也可以自己處理下再生成詞雲
    newTxt = re.sub("A-Z0-9-a-z\!\%\[\]\,\。", "", txt)
    # print(newTxt)

    words = jieba.lcut(newTxt)
    print(words)
    img = Image.open(r'wc.jpg')  # 想要做的形狀
    img_array = np.array(img)

    # 相關配置，里面這個collections可以避免重復
    wordcloud = WordCloud(
        background_color='white',
        width=1080,
        height=960,
        # font_path = "../文悅新青年.otf",
        font_path='C:/Windows/Fonts/simhei.ttf',
        max_words=150,
        scale=10,  # 清晰度
        max_font_size=100,
        mask=img_array,
        collocations=False).generate(newTxt)

    plt.imshow(wordcloud)
    plt.axis('off')
    plt.show()
    wordcloud.to_file('wc.png')

結果展示：

 

第四部分，詞頻統計條形圖。

def echart_top_10():
    data = words_counts()
    lab = [i[0] for i in data]
    num = [i[1] for i in data]
    # print(lab, num)

    bar = (
        Bar(init_opts=opts.InitOpts(width='1000px', height='700px', theme=ThemeType.LIGHT))
        .add_xaxis(xaxis_data=lab)
        .add_yaxis(
            series_name='',
            y_axis=num,
            label_opts=opts.LabelOpts(is_show=True, color='red'),
            bar_max_width='100px',
        )
        .set_global_opts(
            title_opts=opts.TitleOpts(
                title='高詞頻前10',
                title_textstyle_opts=opts.TextStyleOpts(font_size=28,)
            ),
            legend_opts=opts.LegendOpts(
                pos_top='10%',
                pos_left='10%',
            ),
            xaxis_opts=opts.AxisOpts(
                axislabel_opts=opts.LabelOpts(rotate=45), # 傾斜45度
            ),
            toolbox_opts=opts.ToolboxOpts(),
            tooltip_opts=opts.TooltipOpts(
                is_show=True,
                trigger='axis',# 觸發類型，(axis表示坐標軸觸發，鼠標移動上去的時候會有一條垂直於x軸的實線跟隨鼠標移動，並且提示信息)
                axis_pointer_type='cross',# 指示器類型，(Cross表示生成兩條分別垂直於x軸和y軸的虛線，不啟用trigger才會顯示完全)
            ),
        )
    ).render('top10.html')

詞頻統計條形圖，調用了工具欄，可以通過右上角的工具欄切換為線圖。