我爬了《流浪地球》十萬個短評得出以下結論

本文轉載自查看原文 2019-02-25 08:02 6841

前言

最近大家討論最多的就是《流浪地球》了，偶爾刷逼乎，狗血的事情也是層出不窮，各種撕逼大戰，有興趣的小伙伴可以自行搜索。

截止目前，《流浪地球》已上映20天，累計票房43.94億，豆瓣評分7.9分。博主是正月初七看的，票價有點小貴，整體效果還算可以，雖然劇情有點尷尬，各種鏡頭切換有時候看的稀里糊塗，但還是給了豆瓣四星好評。

爬取

逼乎上很多高手，對《流浪地球》在豆瓣的評分做了細思縝密的分析，有興趣的也去自己搜索，這里主要是爬取《流浪地球》的好、中、差短評並分詞分析。

爬取數據：

import os
import requests
import codecs
from bs4 import BeautifulSoup

# 給請求指定一個請求頭來模擬chrome瀏覽器
global headers
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36',
                  'cookie': 'network→www.douban.com→headers查看cookie'}
server = 'https://movie.douban.com/subject/26266893/comments'
# 定義存儲位置
global save_path
save_path = os.getcwd()+"\\Text\\"+'短評_好評.txt'
global page_max
page_max = 25
global comments
comments = ''


# 獲取短評內容
def get_comments(page):
    req = requests.get(url=page)
    html = req.content
    html_doc = str(html, 'utf-8')
    bf = BeautifulSoup(html_doc, 'html.parser')
    comment = bf.find_all(class_="short")
    for short in comment:
        global comments
        comments = comments + short.text


# 寫入文件
def write_txt(chapter, content, code):
    with codecs.open(chapter, 'a', encoding=code)as f:
        f.write(content)


# 主方法
def main():
    for i in range(0, page_max):
        try:
            page = server + '?start='+str(i*20)+'&limit=20&sort=new_score&status=P&percent_type=h'
            get_comments(page)
            write_txt(save_path, comments, 'utf8')
        except Exception as e:
            print(e)


if __name__ == '__main__':
    main()

最終發現，每個類型只能查詢出 500 條短評，后面就看不到了，不知道是否豆瓣有意而為之給隱藏了，哈哈哈原來是沒登錄導致的(headers 設置下 cookie 就可以)。最后讀了一下好評文本居然有40MB，不過最終還是按照500條采樣。

# 好評500條，中評500條，差評500條，自行更換 percent_type 參數即可。
# https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=h
# https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=m
# https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=l

分析

使用結巴中文分詞第三方庫來進行高頻分析：

import jieba
import os

txt = open(os.getcwd()+"\\Text\\"+"短評_差評.txt", "r", encoding='utf-8').read()
words = jieba.lcut(txt)
counts = {}

for word in words:
    if len(word) == 1:
        continue
    else:
        counts[word] = counts.get(word, 0) + 1

items = list(counts.items())
items.sort(key=lambda x: x[1], reverse=True)

for i in range(0, 10):
    word, count = items[i]
    print("{0:<6}{1:>6}".format(word, count))

前十好評高頻出現詞匯：