【一、項目簡介】
本文主要目標是采集淘寶的評價，找出客戶所需要的功能。統計客戶評價上面誇哪個功能多，比如防水，容量大，好看等等。
【二、項目准備工作】
-
准備Pycharm，下載安裝等，可以參考這篇文章：Python環境搭建—安利Python小白的Python和Pycharm安裝詳細教程
-
爬取商品地址，如下所示：
https://detail.tmall.com/item.htm?spm=a230r.1.14.1.55a84b1721XG00&id=552918017887&ns=1&abbucket=17
3. 需要下載幾個庫，如何下載呢？
打開pycharm軟件點擊File在點擊setting選項，再選擇Project：你的文件名下邊的Project:Interpreter選項。
一篇文章教會你用Python爬取淘寶評論數據（寫在記事本）
點擊+號，安裝這個項目需要用的庫，例如：requests、beautifulsoup4、simplejson。
一篇文章教會你用Python爬取淘寶評論數據（寫在記事本）
【三、項目實現】
- 導入需要的庫
import requests
from bs4 import BeautifulSoup as bs
import json
import csv
import re
2. 需要登錄淘寶網，選擇谷歌瀏覽器選擇開發者工具或按F12有個Network選項，查找list_detail_rate.htm?文件
一篇文章教會你用Python爬取淘寶評論數據（寫在記事本）
定義一個變量存儲URL地址PAGE_URL = []
定義一個生成鏈接列表函數，使用字符串拼接形成評論的頁數
一篇文章教會你用Python爬取淘寶評論數據（寫在記事本）
定義一個獲取評論數據函數內定義需要用到的字段例如：用戶名、評論時間、顏色分類、評論，如下圖所示。
那個cookie值在在開發者工具Network有個item.htm?spm文件有個cookie復制過來就好了。
解析JS文件內容、將數據寫入TEXT文件中，如下圖所示。
最后定義一個主函數爬取需要的評論頁數，如下圖所示。
最后得到的結果如圖所示：
【四、總結】
-
本文基於Python網絡爬蟲，采集了淘寶商品的評價，方法行之有效。但是建議不要抓取太多，以免對服務器造成壓力。
-
如果需要本文源碼，請在公眾號后台回復“淘寶評論”獲取。
看完本文有收獲？請轉發分享給更多的人
IT共享之家