Python爬取《冰雪奇緣2》豆瓣影評

前言

文的文字及圖片來源於網絡,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯系我們以作處理。

作者： 劉銓@CCIS Lab

PS：如有需要Python學習資料的小伙伴可以加點擊下方鏈接自行獲取

http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef

一、分析URL

1、分析豆瓣影評URL

首先在豆瓣中，找到我們想要爬取的電影《冰雪奇緣2》

2、查看影片評論

二、爬取評論

分析網頁源碼

分析源碼，可以看到評論在<span class="short">這個標簽中，即代碼為：

import urllib.request
from bs4 import BeautifulSoup
​
def getHtml(url):
    """獲取url頁面"""
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'}
    req = urllib.request.Request(url,headers=headers)
    req = urllib.request.urlopen(req)
    content = req.read().decode('utf-8')
    return content
​
def getComment(url):
    """解析HTML頁面"""
    html = getHtml(url)
    soupComment = BeautifulSoup(html, 'html.parser')
    comments = soupComment.findAll('span', 'short')
    onePageComments = []
    for comment in comments:
        onePageComments.append(comment.getText()+'\n')
    return onePageComments
​
if __name__ == '__main__':
    f = open('冰雪奇緣2.txt', 'w', encoding='utf-8')
    for page in range(10):  # 豆瓣爬取多頁評論需要驗證。
        url = 'https://movie.douban.com/subject/25887288/comments?start=' + str(20*page) + '&limit=20&sort=new_score&status=P'
        print('第%s頁的評論:' % (page+1))
        print(url + '\n')
        for i in getComment(url):
            f.write(i)
            print(i)
        print('\n')

 

這里要注意的是，未登錄用戶只能查看前十頁的評論，爬取更多評論需要先模擬登錄。

三、進行詞雲展示

數據抓取下來之后，我們就來使用詞雲分析一下這部電影：

1、使用結巴分詞

因為我們下載的影評是一段一段的文字，而我們做的詞雲是統計單詞出現的次數，所以需要先分詞。

import matplotlib.pyplot as plt
from wordcloud import WordCloud
from scipy.misc import imread
import jieba
​
text = open("冰雪奇緣2.txt","rb").read()
#結巴分詞
wordlist = jieba.cut(text,cut_all=False)
wl = " ".join(wordlist)

 

2、使用詞雲分析

#設置詞雲
wc = WordCloud(background_color = "white", #設置背景顏色
               mask = imread('black_mask.png'),  #設置背景圖片
               max_words = 2000, #設置最大顯示的字數
               stopwords = ["的", "這種", "這樣", "還是","就是", "這個", "沒有" , "一個" , "什么", "電影", "一部","第一部", "第二部"], #設置停用詞
               font_path = "C:\Windows\Fonts\simkai.ttf",  # 設置為楷體 常規
        #設置中文字體，使得詞雲可以顯示（詞雲默認字體是“DroidSansMono.ttf字體庫”，不支持中文）
               max_font_size = 60,  #設置字體最大值
               random_state = 30, #設置有多少種隨機生成狀態，即有多少種配色方案
    )
myword = wc.generate(wl)#生成詞雲
wc.to_file('result.png')
​
#展示詞雲圖
plt.imshow(myword)
plt.axis("off")
plt.show()

 

最終結果： .