爬蟲大作業

 

1.選一個自己感興趣的主題（所有人不能雷同）。

2.用python 編寫爬蟲程序，從網絡上爬取相關主題的數據。

3.對爬了的數據進行文本分析，生成詞雲。

4.對文本分析結果進行解釋說明。

5.寫一篇完整的博客，描述上述實現過程、遇到的問題及解決辦法、數據分析思想及結論。

6.最后提交爬取的全部數據、爬蟲及數據分析源代碼。

 

1.我選取的是糗事百科里面的 24小時專欄  網址是：https://www.qiushibaike.com/hot/，編譯語言是 python，工具是pycharm

2.爬取過程

　　F12打開開發者工具 找到需要的內容

　　

 可以清晰的看到信息都包含在<div class="content-block clearfix"></div> 中所以我們從其中找需要的內容

　　這里我選取段子內容和up主截圖分別如下

這里可以清楚的知道 'up主'信息和'段子內容'都包含在<div id="content-left" class="col1"></div>中

　　其中‘up主’信息包含在 <h2>標簽中，並且包含在<div class="article block untagged mb15 typs_long"></div>中，所以我們獲取 'up主'信息的代碼可以寫為：

up = soup.select('#content-left')[0].select('.article')[index].select('.author')[0].select('a')[1].text.strip('\n')

　　而 '段子內容'包含在<div class="content"></div>的盒子中，並且包含在<div class="article block untagged mb15 typs_long"></div>中,所以我們獲取'段子內容'信息的代碼可以寫為:

content = soup.select('#content-left')[0].select('.article')[index].select('.content')[0].select('span')[0].text.strip('\n')

但是呢，有的用戶會以匿名方式發段子（大概害羞吧！！），會出現 一個錯誤：list out if range，那么該怎么辦呢?

答案在最后。

　　獲取完單個需要的信息之后就是獲取整頁信息，想法是利用for循環獲取，因為上述內容都包含在<div class="article block untagged mb15 typs_long"></div>中，代碼如下:

　　

        for content_nums in range(sum_contents):
            time.sleep(0.2)
            duanzi_list.append(getContet(url, content_nums))

 　　獲取總的內容數目，思路是看HTML代碼，發現每個子項目都包含在<div id="content-left" class="col1"></div>中，所以可以得到其長度確定一頁的總子項目數目代碼如下：

def getAllContents(url):
    # global onePage_AllContents
    request = requests.get(url)
    request.encoding = 'utf-8'
    soup = BeautifulSoup(request.text,'html.parser')

    #一頁總內容數
    onePage_AllContents = soup.select('#content-left')[0].select('.mb15').__len__()
    return onePage_AllContents

　　獲取完單頁，接下來就應該獲取所有頁面，

#獲取總頁數
def getAllPages(url):
    request = requests.get(url)
    request.encoding = 'utf-8'
    soup = BeautifulSoup(request.text,'html.parser')

    number = int(soup.select('.page-numbers')[-1].text)
    return number

　　將上述綜合起來，寫到一個function中，獲取所有up主信息和段子內容：

　

def dict_Contents(url):
    request = requests.get(url)
    request.encoding = 'utf-8'
    soup = BeautifulSoup(request.text, 'html.parser')
    # time.sleep(1)
    duanzi_list = []
    sum_pages = getAllPages(url)  # 總頁數
    sum_contents = getAllContents(url)
    for page_nums in range(1, 4):
        url = 'http://www.qiushibaike.com/hot/page/{0}/'.format(page_nums)
        time.sleep(1)
        for content_nums in range(sum_contents):
            time.sleep(0.2)
            duanzi_list.append(getContet(url, content_nums))
    # for news in duanzi_list:
    #     print(news)
    return duanzi_list

由於我怕頁面未完全加載，可能會出現信息獲取錯誤，就添加一個time.sleep作為延遲，由於頁面較多，所以值選取了（1，4）的值。

 

 　　之后呢，應該生成Excel表，所以利用pandas第三方類庫生成Excel表

  import pandas
    df = pandas.DataFrame(list_Allduanzi)
    df.to_excel('duanzi.xlsx', engine='xlsxwriter')

　　截圖：

　　

　　將要分詞的內容放進duanzi.txt中，代碼如下:

 

def writeNewsDetail(content):
    f = open('duanzi.txt', 'a', encoding='utf-8')
    f.write(content)
    f.close()

 

　　截圖如下：

　　有了內容之后，接下來就是分詞，我分詞的類庫選擇的是jieba分詞，是一個比較好的分詞，在pycharm中可以直接搜索添加，也可以在命令行中添加 指令是'pip install jieba'，但是在命令行中添加需先配置環境變量。那么分詞的話，首先，要去掉標點符號。將內容中的標點符號等分隔符全部替換為空格。接着，進行分詞切割，（同時我們可以去掉我們不需要的信息放在一個集合里）進行詞頻統計。並保存在文件中，代碼如下：

　　

 import jieba
    file = open('duanzi.txt', 'r', encoding='utf-8')
    duanzi = file.read()
    file.close()

    sep = '''-/.。""'',!?;:~`·[] \ ，：；“”？！-、}{【】‘’'''
    exclude = {' ','\ue412','\x01','我','了','的','你','來','我們','被','……','…'}

    for char in sep:
        duanzi = duanzi.replace(char,'')
    duanziList = list(jieba.cut(duanzi))#分詞
    duanziDict = {}
    duanzis = list(set(duanziList)-exclude)#刪除非中國漢語字符

    for d in range(0,len(duanzis)):
        duanziDict[duanzis[d]] = duanzi.count(str(duanzis[d]))

    dictList = list(duanziDict.items())
    dictList.sort(key=lambda x:x[1],reverse=True)

    f = open('count.txt','a',encoding='utf-8')
    for i in range(150):
        print(dictList[i])
        f.write(dictList[i][0] + ':' + str(dictList[i][1]) + '\n')
    f.close()

　　截圖結果如下：

　　最后一步就是生成詞雲了。首先是下載，但是呢在pycharm和命令行下載是行不通的需要通過下載被的文件在使用命令行才行，問題解決有提及。那么代碼是：

 

    #生成詞雲
    from PIL import Image, ImageSequence
    import numpy as np
    import matplotlib.pyplot as plt
    from wordcloud import WordCloud, ImageColorGenerator

    font = r'C:\Windows\Fonts\simhei.TTF'
    image = Image.open('./qiushibaike.jpg')
    graph = np.array(image)
    wc = WordCloud(font_path=font, background_color='White', max_words=50, mask=graph)
    wc.generate_from_frequencies(duanziciyun)
    image_color = ImageColorGenerator(graph)
    plt.imshow(wc)
    plt.axis("off")
    plt.show()

 

　　詞雲圖片形狀是（根據那個糗事百科的背景圖）：

　　生成的詞雲截圖如下：

 

　　總的代碼如下：

　

# -*- coding: UTF-8 -*-
import requests
import re
from bs4 import BeautifulSoup
import time
import openpyxl
import xlsxwriter

#保存到文本
def writeNewsDetail(content):
    f = open('duanzi.txt', 'a', encoding='utf-8')
    f.write(content)
    f.close()

#獲取
def getContet(url,index):
    global up, content
    request = requests.get(url)
    request.encoding = 'utf-8'
    soup = BeautifulSoup(request.text,'html.parser')

    duanzi = {}  # 用字典存放信息

    #up主
    try:
        up = soup.select('#content-left')[0].select('.article')[index].select('.author')[0].select('a')[1].text.strip('\n')
        #內容
        content = soup.select('#content-left')[0].select('.article')[index].select('.content')[0].select('span')[0].text.strip('\n')
    except IndexError:
        up = soup.select('#content-left')[0].select('.article')[index].select('.author')[0].select('h2')[0].text.strip('\n')
        content = soup.select('#content-left')[0].select('.article')[index].select('.content')[0].select('span')[0].text.strip('\n')
    duanzi['up主'] = up
    duanzi['段子內容'] = content
    writeNewsDetail(content)
    return duanzi

#獲取總頁數
def getAllPages(url):
    request = requests.get(url)
    request.encoding = 'utf-8'
    soup = BeautifulSoup(request.text,'html.parser')

    number = int(soup.select('.page-numbers')[-1].text)
    return number

#獲取總的段子數目
def getAllContents(url):
    # global onePage_AllContents
    request = requests.get(url)
    request.encoding = 'utf-8'
    soup = BeautifulSoup(request.text,'html.parser')

    #一頁總內容數
    onePage_AllContents = soup.select('#content-left')[0].select('.mb15').__len__()
    return onePage_AllContents

# 將所有段子存放到字典中
def dict_Contents(url):
    request = requests.get(url)
    request.encoding = 'utf-8'
    soup = BeautifulSoup(request.text, 'html.parser')
    # time.sleep(1)
    duanzi_list = []
    sum_pages = getAllPages(url)  # 總頁數
    sum_contents = getAllContents(url)
    for page_nums in range(1, 4):
        url = 'http://www.qiushibaike.com/hot/page/{0}/'.format(page_nums)
        time.sleep(1)
        for content_nums in range(sum_contents):
            time.sleep(0.2)
            duanzi_list.append(getContet(url, content_nums))
    # for news in duanzi_list:
    #     print(news)
    return duanzi_list


if __name__ == '__main__':
    url = 'http://www.qiushibaike.com/hot/'
    # request = requests.get(url)
    # request.encoding = 'utf-8'
    # soup = BeautifulSoup(request.text, 'html.parser')
    list_Allduanzi = []
    list_Allduanzi = dict_Contents(url)
    #生成excel表
    import pandas
    df = pandas.DataFrame(list_Allduanzi)
    df.to_excel('duanzi.xlsx', engine='xlsxwriter')

    import jieba
    file = open('duanzi.txt', 'r', encoding='utf-8')
    duanzi = file.read()
    file.close()

    sep = '''-/.。""'',!?;:~`·[] \ ，：；“”？！-、}{【】‘’'''
    exclude = {' ','\ue412','\x01','我','了','的','你','來','我們','被','……','…'}

    for char in sep:
        duanzi = duanzi.replace(char,'')
    duanziList = list(jieba.cut(duanzi))#分詞
    duanziDict = {}
    duanzis = list(set(duanziList)-exclude)#刪除非中國漢語字符

    for d in range(0,len(duanzis)):
        duanziDict[duanzis[d]] = duanzi.count(str(duanzis[d]))

    dictList = list(duanziDict.items())
    dictList.sort(key=lambda x:x[1],reverse=True)
    duanziciyun = {}
    f = open('count.txt','a',encoding='utf-8')
    for i in range(150):
        f.write(dictList[i][0] + ':' + str(dictList[i][1]) + '\n')
        duanziciyun[dictList[i][0]] = dictList[i][1]
    f.close()

    #生成詞雲
    from PIL import Image, ImageSequence
    import numpy as np
    import matplotlib.pyplot as plt
    from wordcloud import WordCloud, ImageColorGenerator

    font = r'C:\Windows\Fonts\simhei.TTF'
    image = Image.open('./qiushibaike.jpg')
    graph = np.array(image)
    wc = WordCloud(font_path=font, background_color='White', max_words=50, mask=graph)
    wc.generate_from_frequencies(duanziciyun)
    image_color = ImageColorGenerator(graph)
    plt.imshow(wc)
    plt.axis("off")
    plt.show()

 

 

 

3.遇到的問題以及解決辦法 

 　　第一個問題是：上述一開始提及到的，有些up主並非公開的，是匿名用戶，它的結構和非匿名用戶不一樣，那么，我就點擊查看，發現只有<span>標簽並沒<h2>標簽，所以我的代碼修改如下：

#up主
    try:
        up = soup.select('#content-left')[0].select('.article')[index].select('.author')[0].select('a')[1].text.strip('\n')
        #內容
        content = soup.select('#content-left')[0].select('.article')[index].select('.content')[0].select('span')[0].text.strip('\n')
    except IndexError:
        up = soup.select('#content-left')[0].select('.article')[index].select('.author')[0].select('h2')[0].text.strip('\n')
        content = soup.select('#content-left')[0].select('.article')[index].select('.content')[0].select('span')[0].text.strip('\n')　　

　　問題就解決了，其中還學習到了，當 出現錯誤 'list out of range'時，可以運用try except IndexEorro 處理和尋找問題的根源。

　　第二個問題是：在利用pandas庫生成excel表時，產生了錯誤 'openpyxl.utils.exceptions.IllegalCharacterError'，我解決的辦法是在google搜索該問題，然后在stackflow中找到了答案，下載並且導入 ‘import xlsxwriter’ 然后修改導入數據到excel的代碼 ‘df.to_excel('duanzi.xlsx', engine='xlsxwriter')’就OK了。

　　第三個問題是：詞雲wordcloud載pycharm下載不成功，原因是找不到該文件的詳情信息，估計是該工具引進python第三方類庫有問題，利用pip進行安裝也不成功，那么問題就漸漸浮出水面了，就是匹配不到該文件的版本號，所以，我們需要知道該版本號，上網查了下，因為我的python是3.6版本，所以對應cp36，然后我的是windows系統，所以在LDF中下windows版本的，鏈接是：https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud，下載amd的，拖入你的python路徑中，具體文件目錄就自行百度吧（我忘記了！！！）。

我是用anacanda 進行引進該第三方類庫的，參考鏈接：https://www.jianshu.com/p/e4b24a734ccc。

　　問題大概就這么多了。

 

 4.數據分析思想以及結論

獲取段子內容並且進行詞頻統計，就可以了解現在的人說的是什么梗，或者有什么關鍵詞特別突出即，當你講笑話或者處於尷尬情況是可以將一兩個笑話和諧一下氣氛，也可以用這寫梗去交朋友或者哄別人開行，（哄女孩子什么的我沒說。。哈），總之是很有用的，但是呢，我不曉得為什么生成的都是一個一個詞的，並沒有很多詞組，不知道是不是結巴分詞的一個缺點。