爬虫大作业

 

1.选一个自己感兴趣的主题（所有人不能雷同）。

2.用python 编写爬虫程序，从网络上爬取相关主题的数据。

3.对爬了的数据进行文本分析，生成词云。

4.对文本分析结果进行解释说明。

5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。

6.最后提交爬取的全部数据、爬虫及数据分析源代码。

 

1.我选取的是糗事百科里面的 24小时专栏  网址是：https://www.qiushibaike.com/hot/，编译语言是 python，工具是pycharm

2.爬取过程

　　F12打开开发者工具 找到需要的内容

　　

 可以清晰的看到信息都包含在<div class="content-block clearfix"></div> 中所以我们从其中找需要的内容

　　这里我选取段子内容和up主截图分别如下

这里可以清楚的知道 'up主'信息和'段子内容'都包含在<div id="content-left" class="col1"></div>中

　　其中‘up主’信息包含在 <h2>标签中，并且包含在<div class="article block untagged mb15 typs_long"></div>中，所以我们获取 'up主'信息的代码可以写为：

up = soup.select('#content-left')[0].select('.article')[index].select('.author')[0].select('a')[1].text.strip('\n')

　　而 '段子内容'包含在<div class="content"></div>的盒子中，并且包含在<div class="article block untagged mb15 typs_long"></div>中,所以我们获取'段子内容'信息的代码可以写为:

content = soup.select('#content-left')[0].select('.article')[index].select('.content')[0].select('span')[0].text.strip('\n')

但是呢，有的用户会以匿名方式发段子（大概害羞吧！！），会出现 一个错误：list out if range，那么该怎么办呢?

答案在最后。

　　获取完单个需要的信息之后就是获取整页信息，想法是利用for循环获取，因为上述内容都包含在<div class="article block untagged mb15 typs_long"></div>中，代码如下:

　　

        for content_nums in range(sum_contents):
            time.sleep(0.2)
            duanzi_list.append(getContet(url, content_nums))

 　　获取总的内容数目，思路是看HTML代码，发现每个子项目都包含在<div id="content-left" class="col1"></div>中，所以可以得到其长度确定一页的总子项目数目代码如下：

def getAllContents(url):
    # global onePage_AllContents
    request = requests.get(url)
    request.encoding = 'utf-8'
    soup = BeautifulSoup(request.text,'html.parser')

    #一页总内容数
    onePage_AllContents = soup.select('#content-left')[0].select('.mb15').__len__()
    return onePage_AllContents

　　获取完单页，接下来就应该获取所有页面，

#获取总页数
def getAllPages(url):
    request = requests.get(url)
    request.encoding = 'utf-8'
    soup = BeautifulSoup(request.text,'html.parser')

    number = int(soup.select('.page-numbers')[-1].text)
    return number

　　将上述综合起来，写到一个function中，获取所有up主信息和段子内容：

　

def dict_Contents(url):
    request = requests.get(url)
    request.encoding = 'utf-8'
    soup = BeautifulSoup(request.text, 'html.parser')
    # time.sleep(1)
    duanzi_list = []
    sum_pages = getAllPages(url)  # 总页数
    sum_contents = getAllContents(url)
    for page_nums in range(1, 4):
        url = 'http://www.qiushibaike.com/hot/page/{0}/'.format(page_nums)
        time.sleep(1)
        for content_nums in range(sum_contents):
            time.sleep(0.2)
            duanzi_list.append(getContet(url, content_nums))
    # for news in duanzi_list:
    #     print(news)
    return duanzi_list

由于我怕页面未完全加载，可能会出现信息获取错误，就添加一个time.sleep作为延迟，由于页面较多，所以值选取了（1，4）的值。

 

 　　之后呢，应该生成Excel表，所以利用pandas第三方类库生成Excel表

  import pandas
    df = pandas.DataFrame(list_Allduanzi)
    df.to_excel('duanzi.xlsx', engine='xlsxwriter')

　　截图：

　　

　　将要分词的内容放进duanzi.txt中，代码如下:

 

def writeNewsDetail(content):
    f = open('duanzi.txt', 'a', encoding='utf-8')
    f.write(content)
    f.close()

 

　　截图如下：

　　有了内容之后，接下来就是分词，我分词的类库选择的是jieba分词，是一个比较好的分词，在pycharm中可以直接搜索添加，也可以在命令行中添加 指令是'pip install jieba'，但是在命令行中添加需先配置环境变量。那么分词的话，首先，要去掉标点符号。将内容中的标点符号等分隔符全部替换为空格。接着，进行分词切割，（同时我们可以去掉我们不需要的信息放在一个集合里）进行词频统计。并保存在文件中，代码如下：

　　

 import jieba
    file = open('duanzi.txt', 'r', encoding='utf-8')
    duanzi = file.read()
    file.close()

    sep = '''-/.。""'',!?;:~`·[] \ ，：；“”？！-、}{【】‘’'''
    exclude = {' ','\ue412','\x01','我','了','的','你','来','我们','被','……','…'}

    for char in sep:
        duanzi = duanzi.replace(char,'')
    duanziList = list(jieba.cut(duanzi))#分词
    duanziDict = {}
    duanzis = list(set(duanziList)-exclude)#删除非中国汉语字符

    for d in range(0,len(duanzis)):
        duanziDict[duanzis[d]] = duanzi.count(str(duanzis[d]))

    dictList = list(duanziDict.items())
    dictList.sort(key=lambda x:x[1],reverse=True)

    f = open('count.txt','a',encoding='utf-8')
    for i in range(150):
        print(dictList[i])
        f.write(dictList[i][0] + ':' + str(dictList[i][1]) + '\n')
    f.close()

　　截图结果如下：

　　最后一步就是生成词云了。首先是下载，但是呢在pycharm和命令行下载是行不通的需要通过下载被的文件在使用命令行才行，问题解决有提及。那么代码是：

 

    #生成词云
    from PIL import Image, ImageSequence
    import numpy as np
    import matplotlib.pyplot as plt
    from wordcloud import WordCloud, ImageColorGenerator

    font = r'C:\Windows\Fonts\simhei.TTF'
    image = Image.open('./qiushibaike.jpg')
    graph = np.array(image)
    wc = WordCloud(font_path=font, background_color='White', max_words=50, mask=graph)
    wc.generate_from_frequencies(duanziciyun)
    image_color = ImageColorGenerator(graph)
    plt.imshow(wc)
    plt.axis("off")
    plt.show()

 

　　词云图片形状是（根据那个糗事百科的背景图）：

　　生成的词云截图如下：

 

　　总的代码如下：

　

# -*- coding: UTF-8 -*-
import requests
import re
from bs4 import BeautifulSoup
import time
import openpyxl
import xlsxwriter

#保存到文本
def writeNewsDetail(content):
    f = open('duanzi.txt', 'a', encoding='utf-8')
    f.write(content)
    f.close()

#获取
def getContet(url,index):
    global up, content
    request = requests.get(url)
    request.encoding = 'utf-8'
    soup = BeautifulSoup(request.text,'html.parser')

    duanzi = {}  # 用字典存放信息

    #up主
    try:
        up = soup.select('#content-left')[0].select('.article')[index].select('.author')[0].select('a')[1].text.strip('\n')
        #内容
        content = soup.select('#content-left')[0].select('.article')[index].select('.content')[0].select('span')[0].text.strip('\n')
    except IndexError:
        up = soup.select('#content-left')[0].select('.article')[index].select('.author')[0].select('h2')[0].text.strip('\n')
        content = soup.select('#content-left')[0].select('.article')[index].select('.content')[0].select('span')[0].text.strip('\n')
    duanzi['up主'] = up
    duanzi['段子内容'] = content
    writeNewsDetail(content)
    return duanzi

#获取总页数
def getAllPages(url):
    request = requests.get(url)
    request.encoding = 'utf-8'
    soup = BeautifulSoup(request.text,'html.parser')

    number = int(soup.select('.page-numbers')[-1].text)
    return number

#获取总的段子数目
def getAllContents(url):
    # global onePage_AllContents
    request = requests.get(url)
    request.encoding = 'utf-8'
    soup = BeautifulSoup(request.text,'html.parser')

    #一页总内容数
    onePage_AllContents = soup.select('#content-left')[0].select('.mb15').__len__()
    return onePage_AllContents

# 将所有段子存放到字典中
def dict_Contents(url):
    request = requests.get(url)
    request.encoding = 'utf-8'
    soup = BeautifulSoup(request.text, 'html.parser')
    # time.sleep(1)
    duanzi_list = []
    sum_pages = getAllPages(url)  # 总页数
    sum_contents = getAllContents(url)
    for page_nums in range(1, 4):
        url = 'http://www.qiushibaike.com/hot/page/{0}/'.format(page_nums)
        time.sleep(1)
        for content_nums in range(sum_contents):
            time.sleep(0.2)
            duanzi_list.append(getContet(url, content_nums))
    # for news in duanzi_list:
    #     print(news)
    return duanzi_list


if __name__ == '__main__':
    url = 'http://www.qiushibaike.com/hot/'
    # request = requests.get(url)
    # request.encoding = 'utf-8'
    # soup = BeautifulSoup(request.text, 'html.parser')
    list_Allduanzi = []
    list_Allduanzi = dict_Contents(url)
    #生成excel表
    import pandas
    df = pandas.DataFrame(list_Allduanzi)
    df.to_excel('duanzi.xlsx', engine='xlsxwriter')

    import jieba
    file = open('duanzi.txt', 'r', encoding='utf-8')
    duanzi = file.read()
    file.close()

    sep = '''-/.。""'',!?;:~`·[] \ ，：；“”？！-、}{【】‘’'''
    exclude = {' ','\ue412','\x01','我','了','的','你','来','我们','被','……','…'}

    for char in sep:
        duanzi = duanzi.replace(char,'')
    duanziList = list(jieba.cut(duanzi))#分词
    duanziDict = {}
    duanzis = list(set(duanziList)-exclude)#删除非中国汉语字符

    for d in range(0,len(duanzis)):
        duanziDict[duanzis[d]] = duanzi.count(str(duanzis[d]))

    dictList = list(duanziDict.items())
    dictList.sort(key=lambda x:x[1],reverse=True)
    duanziciyun = {}
    f = open('count.txt','a',encoding='utf-8')
    for i in range(150):
        f.write(dictList[i][0] + ':' + str(dictList[i][1]) + '\n')
        duanziciyun[dictList[i][0]] = dictList[i][1]
    f.close()

    #生成词云
    from PIL import Image, ImageSequence
    import numpy as np
    import matplotlib.pyplot as plt
    from wordcloud import WordCloud, ImageColorGenerator

    font = r'C:\Windows\Fonts\simhei.TTF'
    image = Image.open('./qiushibaike.jpg')
    graph = np.array(image)
    wc = WordCloud(font_path=font, background_color='White', max_words=50, mask=graph)
    wc.generate_from_frequencies(duanziciyun)
    image_color = ImageColorGenerator(graph)
    plt.imshow(wc)
    plt.axis("off")
    plt.show()

 

 

 

3.遇到的问题以及解决办法 

 　　第一个问题是：上述一开始提及到的，有些up主并非公开的，是匿名用户，它的结构和非匿名用户不一样，那么，我就点击查看，发现只有<span>标签并没<h2>标签，所以我的代码修改如下：

#up主
    try:
        up = soup.select('#content-left')[0].select('.article')[index].select('.author')[0].select('a')[1].text.strip('\n')
        #内容
        content = soup.select('#content-left')[0].select('.article')[index].select('.content')[0].select('span')[0].text.strip('\n')
    except IndexError:
        up = soup.select('#content-left')[0].select('.article')[index].select('.author')[0].select('h2')[0].text.strip('\n')
        content = soup.select('#content-left')[0].select('.article')[index].select('.content')[0].select('span')[0].text.strip('\n')　　

　　问题就解决了，其中还学习到了，当 出现错误 'list out of range'时，可以运用try except IndexEorro 处理和寻找问题的根源。

　　第二个问题是：在利用pandas库生成excel表时，产生了错误 'openpyxl.utils.exceptions.IllegalCharacterError'，我解决的办法是在google搜索该问题，然后在stackflow中找到了答案，下载并且导入 ‘import xlsxwriter’ 然后修改导入数据到excel的代码 ‘df.to_excel('duanzi.xlsx', engine='xlsxwriter')’就OK了。

　　第三个问题是：词云wordcloud载pycharm下载不成功，原因是找不到该文件的详情信息，估计是该工具引进python第三方类库有问题，利用pip进行安装也不成功，那么问题就渐渐浮出水面了，就是匹配不到该文件的版本号，所以，我们需要知道该版本号，上网查了下，因为我的python是3.6版本，所以对应cp36，然后我的是windows系统，所以在LDF中下windows版本的，链接是：https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud，下载amd的，拖入你的python路径中，具体文件目录就自行百度吧（我忘记了！！！）。

我是用anacanda 进行引进该第三方类库的，参考链接：https://www.jianshu.com/p/e4b24a734ccc。

　　问题大概就这么多了。

 

 4.数据分析思想以及结论

获取段子内容并且进行词频统计，就可以了解现在的人说的是什么梗，或者有什么关键词特别突出即，当你讲笑话或者处于尴尬情况是可以将一两个笑话和谐一下气氛，也可以用这写梗去交朋友或者哄别人开行，（哄女孩子什么的我没说。。哈），总之是很有用的，但是呢，我不晓得为什么生成的都是一个一个词的，并没有很多词组，不知道是不是结巴分词的一个缺点。