爬取京東商品評論信息

(一)、選題的背景

       在這個科技飛速發展的時代，網上購物十分流行，對於一些商品的好壞，可以加以評論。做這一選題的目的主要是運用爬蟲來爬取商品的評論信息，並加以分析。爬取京東商品的評論數據並加以分析，通過顧客對商品的客觀評價，總結得出顧客對商品評論的熱詞，得出顧客對某一類商品的關注點；對商品的打分與時間間隔的關系等相關信息，得出產品的質量是否有保障，這產品是否實用等。

 

(二)、主題式網絡爬蟲設計方案

1.主題式網絡爬蟲名稱

      爬取京東商品評論信息

2.主題式網絡爬蟲爬取的內容與數據特征分析

     爬取內容：京東商品的熱門評論十大關鍵詞、打分、熱詞。

　  數據特征分析：網頁文本。

3.主題式網絡爬蟲設計方案概述（包括實現思路與技術難點）

    爬取京東售賣的商品下的評論信息，得出其關鍵詞，並分析顧客打分與打分時間的關系。

     主要用到的庫有python的requests、json、csv、time、pandas、jieba、matplotlib.pyplot、numpy。

 

(三)、主題頁面的結構特征分析

1.主題頁面的結構與特征分析

 

 

 

 2.Htmls 頁面解析

    每條評論的文字信息都有這個標簽：<p class="comment-con">開頭，每條評論的時間都有<span>開頭，</span>結尾。

3.節點（標簽）查找方法與遍歷方法

（必要時畫出節點樹結構）

     查找方法：find    遍歷方法：for循環

(四)、網絡爬蟲程序設計

1.數據爬取與采集

def jd_crawl_comment(item_id,pagenum):

    list_ =[]
    start_page = 1
    end_page = pagenum
    for p in range(start_page, end_page + 1):
        print(p)
        #productid = 3048505
        url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv995&productId='+str(item_id)+'&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1'
        url = url.format(p)
        print(url)
        #仿造請求頭，騙過瀏覽器
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',
            'Referer': 'https://item.jd.com/1981570.html'
        }
        #發起請求
        #request = urllib.request.Request(url=url, headers=headers)
        #得到響應
        content = requests.get(url=url,headers=headers).content.decode('gbk')
        #去掉多余得到json格式
        content = content.strip('fetchJSON_comment98vv995();')
        print(content)

 

2.對數據進行清洗和處理

保存商品評論數據.csv:

def jd_crawl_comment(item_id,pagenum):

    list_ =[]
    start_page = 1
    end_page = pagenum
    for p in range(start_page, end_page + 1):
        print(p)
        #productid = 3048505
        url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv995&productId='+str(item_id)+'&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1'
        url = url.format(p)
        print(url)
        #仿造請求頭，騙過瀏覽器
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',
            'Referer': 'https://item.jd.com/1981570.html'
        }
        #發起請求
        #request = urllib.request.Request(url=url, headers=headers)
        #得到響應
        content = requests.get(url=url,headers=headers).content.decode('gbk')
        #去掉多余得到json格式
        content = content.strip('fetchJSON_comment98vv995();')
        print(content)
        obj = json.loads(content)

        comments = obj['comments']
        print(comments)
        fp = open('jingdong.txt', 'a', encoding='gbk')
        for comment in comments:
            # print(comment)
            name = comment['referenceName']

            id = comment['id']

            con = comment['content']

            creationTime = comment['creationTime']

            img_url = comment['userImageUrl']
            score = comment['score']
            item = {
                'name': name,
                'id': id,
                'con': con,
                'time': creationTime,
                'img_url': img_url,
            }
            string = str(item)

            print(id, con, score, creationTime)
            list_.append([id, con, score, creationTime])
            fp.write(string + '\n')

        fp.close()
        print('%s-page---finish' % p)
        #print(list_)
        time.sleep(5)
    return list_
def write_to_csv(list_,header,outputfile):
    with open(outputfile, 'w', encoding='utf8', newline='') as f:
        writer = csv.writer(f)
        writer.writerow(header)
        for l in list_:
            writer.writerow(l)
    f.close()

 

 

 

 

 

 

 

 

 

3.文本分析

生成商品評論數據.csv詞雲圖：

def wordcloud_京東_商品評論(filename,output):
    # 生成詞雲的方法
    f = open(filename,encoding='utf8')
    data = pd.read_csv(f)

    string = ''
    comments = data['評論']
    for c in comments:
        string += str(c) + '\n'
    print(string)
    cut = " ".join(jieba.cut(string))
    #  stopwords remove
    stopwords = ['其他', '很多', '不是', '非常', '這個', '那個', '真的', '可以', '沒有']
    for word in stopwords:
        cut = cut.replace(word,'')
    d = path.dirname(__file__)

    cloud = WordCloud(  # 設置字體，不指定就會出現亂碼
        scale=4,
        font_path=path.join(d, 'simhei.ttf'),
        background_color='white',
        max_words=2000,
        max_font_size=1550,
        min_font_size=2,
        collocations=False,
        relative_scaling=0.4,
        prefer_horizontal=1)
    wc = cloud.generate_from_text(cut)
    wc.to_file(output)

運行結果如下：

 

4.數據分析與可視化（例如：數據柱形圖、直方圖、散點圖、盒圖、分布圖）

整理數據得出十大關鍵詞：

def 詞頻_京東商品評論_柱狀圖(inputfile, topN):
    # 柱狀圖顯示詞頻前N
    f = open(inputfile, encoding='utf8')
    data = pd.read_csv(f)

    string = ''
    comments = data['評論']
    for c in comments:
        string += str(c) + '\n'
    print(string)

    txt = string
    words = jieba.lcut(txt)
    dic_ = {}  #創建字典
    stopwords = ['其他', '很多', '不是', '非常', '這個', '那個', '真的', '可以', '沒有',"就是","這里"]

    for word in words:
        if len(word) == 1:
            continue
        else:
            rword = word
        dic_[rword] = dic_.get(rword,0) + 1
    for word in stopwords:
        try:
            del(dic_[word])
        except:
            pass
    items = list(dic_.items())
    # 排序 按詞頻率
    items.sort(key=lambda x:x[1], reverse =True)

    labels = []
    sizes = []
    n = topN
    wordlist = list()
    for i in range(n):
        word,count = items[i]
        labels.append(word)
        sizes.append(count)
        wordlist.append(word)

    plt.rcParams['font.sans-serif'] = ['SimHei']
    plt.rcParams['axes.unicode_minus'] = False
    f, ax = plt.subplots()
    # 橫向圖
    rect = ax.barh(range(len(sizes)), sizes, tick_label='')
    plt.yticks(np.arange(len(labels)), labels)
    plt.legend((rect,), ("前十關鍵詞",))
    plt.savefig('前十關鍵詞.jpg')
    return labels,sizes

 

5.根據數據之間的關系，分析產品評價數量和時間之間的相關系數，畫出散點圖。

 

def 評價_時間_分布散點圖(inputfile,output,title,columns):
    if inputfile.endswith('.xlsx') or inputfile.endswith('.xls'):
        data = pd.read_excel(inputfile)
    else:
        f = open(inputfile, encoding='utf8')
        data = pd.read_csv(f)
    timing = data['時間']
    dic_ = {}
    for t in timing:

        print(t)
        t = t.split(' ')[0]
        t = t.split('-')
        month = t[0]+'-'+t[1]
        # 從具體時間中  提取出月份的數據
        if month not in dic_.keys():
            dic_[month] = 1
        else:
            dic_[month] +=1
    plt.scatter(dic_.keys(),dic_.values(),alpha=0.8,marker='o')
    plt.rcParams['font.sans-serif'] = 'simhei'
    plt.title(title)

    plt.xlabel('月份')
    plt.xticks(rotation='vertical')
    plt.ylabel('評價數量')

    plt.savefig(output)
    #plt.show()

運行結果如下：

 

 

 

6.數據持久化

 

 

 

7.將以上各部分的代碼匯總，附上完整程序代碼

import requests
import json
import csv
import time
def jd_crawl_comment(item_id,pagenum):

    list_ =[]
    start_page = 1
    end_page = pagenum
    for p in range(start_page, end_page + 1):
        print(p)
        #productid = 3048505
        url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv995&productId='+str(item_id)+'&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1'
        url = url.format(p)
        print(url)
        #仿造請求頭，騙過瀏覽器
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',
            'Referer': 'https://item.jd.com/1981570.html'
        }
        #發起請求
        #request = urllib.request.Request(url=url, headers=headers)
        #得到響應
        content = requests.get(url=url,headers=headers).content.decode('gbk')
        #去掉多余得到json格式
        content = content.strip('fetchJSON_comment98vv995();')
        print(content)
        obj = json.loads(content)

        comments = obj['comments']
        print(comments)
        fp = open('jingdong.txt', 'a', encoding='gbk')
        for comment in comments:
            # print(comment)
            name = comment['referenceName']

            id = comment['id']

            con = comment['content']

            creationTime = comment['creationTime']

            img_url = comment['userImageUrl']
            score = comment['score']
            item = {
                'name': name,
                'id': id,
                'con': con,
                'time': creationTime,
                'img_url': img_url,
            }
            string = str(item)

            print(id, con, score, creationTime)
            list_.append([id, con, score, creationTime])
            fp.write(string + '\n')

        fp.close()
        print('%s-page---finish' % p)
        #print(list_)
        time.sleep(5)
    return list_
def write_to_csv(list_,header,outputfile):
    with open(outputfile, 'w', encoding='utf8', newline='') as f:
        writer = csv.writer(f)
        writer.writerow(header)
        for l in list_:
            writer.writerow(l)
    f.close()

if __name__ == "__main__":
    list_ = jd_crawl_comment(100009464799,pagenum=20)
    outputfile = '京東商品評論數據.csv'
    header = ['id','評論','打分','時間']
    write_to_csv(list_,header,outputfile)

import pandas as pd
from os import path
import jieba
import numpy as np
import matplotlib.pyplot as plt
from wordcloud import WordCloud

def wordcloud_京東_商品評論(filename,output):
    # 生成詞雲的方法
    f = open(filename,encoding='utf8')
    data = pd.read_csv(f)

    string = ''
    comments = data['評論']
    for c in comments:
        string += str(c) + '\n'
    print(string)
    cut = " ".join(jieba.cut(string))
    #  stopwords remove
    stopwords = ['其他', '很多', '不是', '非常', '這個', '那個', '真的', '可以', '沒有']
    for word in stopwords:
        cut = cut.replace(word,'')
    d = path.dirname(__file__)

    cloud = WordCloud(  # 設置字體，不指定就會出現亂碼
        scale=4,
        font_path=path.join(d, 'simhei.ttf'),
        background_color='white',
        max_words=2000,
        max_font_size=1550,
        min_font_size=2,
        collocations=False,
        relative_scaling=0.4,
        prefer_horizontal=1)
    wc = cloud.generate_from_text(cut)
    wc.to_file(output)




def 詞頻_京東商品評論_柱狀圖(inputfile, topN):
    # 柱狀圖顯示詞頻前N
    f = open(inputfile, encoding='utf8')
    data = pd.read_csv(f)

    string = ''
    comments = data['評論']
    for c in comments:
        string += str(c) + '\n'
    print(string)

    txt = string
    words = jieba.lcut(txt)
    dic_ = {}  #創建字典
    stopwords = ['其他', '很多', '不是', '非常', '這個', '那個', '真的', '可以', '沒有',"就是","這里"]

    for word in words:
        if len(word) == 1:
            continue
        else:
            rword = word
        dic_[rword] = dic_.get(rword,0) + 1
    for word in stopwords:
        try:
            del(dic_[word])
        except:
            pass
    items = list(dic_.items())
    # 排序 按詞頻率
    items.sort(key=lambda x:x[1], reverse =True)

    labels = []
    sizes = []
    n = topN
    wordlist = list()
    for i in range(n):
        word,count = items[i]
        labels.append(word)
        sizes.append(count)
        wordlist.append(word)

    plt.rcParams['font.sans-serif'] = ['SimHei']
    plt.rcParams['axes.unicode_minus'] = False
    f, ax = plt.subplots()
    # 橫向圖
    rect = ax.barh(range(len(sizes)), sizes, tick_label='')
    plt.yticks(np.arange(len(labels)), labels)
    plt.legend((rect,), ("前十關鍵詞",))
    plt.savefig('前十關鍵詞.jpg')
    return labels,sizes
def 評價_時間_分布散點圖(inputfile,output,title,columns):
    if inputfile.endswith('.xlsx') or inputfile.endswith('.xls'):
        data = pd.read_excel(inputfile)
    else:
        f = open(inputfile, encoding='utf8')
        data = pd.read_csv(f)
    timing = data['時間']
    dic_ = {}
    for t in timing:

        print(t)
        t = t.split(' ')[0]
        t = t.split('-')
        month = t[0]+'-'+t[1]
        # 從具體時間中  提取出月份的數據
        if month not in dic_.keys():
            dic_[month] = 1
        else:
            dic_[month] +=1
    plt.scatter(dic_.keys(),dic_.values(),alpha=0.8,marker='o')
    plt.rcParams['font.sans-serif'] = 'simhei'
    plt.title(title)

    plt.xlabel('月份')
    plt.xticks(rotation='vertical')
    plt.ylabel('評價數量')

    plt.savefig(output)
    #plt.show()

if __name__=='__main__':
    filename = '京東商品評論數據.csv'
    評價_時間_分布散點圖(filename, '打分分布散點圖(月份)', '打分分布散點圖(月份)', [])
    wordcloud_京東_商品評論(filename, filename + '詞雲.jpg')
    詞頻_京東商品評論_柱狀圖(filename, 10)

 

(五)、總結（10 分）

1.經過對主題數據的分析與可視化，可以得到哪些結論？是否達到預期的目標？

結論：1、通過對京東評論信息的爬取分析得出評論筆記本電腦的十大關鍵詞之首是速度，人們對筆記本電腦最為重視的是速度。

           2、通過散點圖得知對021—11這一產品的打分數量較多，無論從平時還是從某一月份來比較亦是如此，所以該產品的購買量應該會比較高。

已達到預期的目標，通過爬蟲技術對爬取到的評論信息有了了解，發現人們不同產品的關注點是有所不同的，好的產品不會受到時間的而得到更少評價。

2.在完成此設計過程中，得到哪些收獲？以及要改進的建議？

收獲：1、第一次做主題式爬蟲項目，做起來出現了不少問題，但也通過了一些手段來加以修改，現已經能較好地運用Python來爬取網頁信息。

            2、當爬取到自己所需的東西時還是有不小的成就感的。

建議：對python庫的運用還不夠嫻熟，在編程過程中，有些信息的爬取還較為繁瑣，自己有時候也難以解決，需要加強對Python的學習，提高自己對Python應用能力。