python爬蟲：爬取某寶商品評論，寫在記事本中。

本文的文字及圖片來源於網絡,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯系我們以作處理

本文章來自騰訊雲 作者：Python進階者

想要學習Python？有問題得不到第一時間解決？來看看這里“1039649593”滿足你的需求，資料都已經上傳至文件中，可以自行下載！還有海量最新2020python學習資料。
點擊查看

一、項目簡介

本文主要目標是采集淘寶的評價，找出客戶所需要的功能。統計客戶評價上面誇哪個功能多，比如防水，容量大，好看等等。

二、項目准備工作

1、 爬取商品地址，如下所示：

https://detail.tmall.com/item.htm?spm=a230r.1.14.1.55a84b1721XG00&id=552918017887&ns=1&abbucket=17

 

2、需要下載幾個庫，如何下載呢？

打開pycharm軟件點擊File在點擊setting選項，再選擇Project：你的文件名下邊的Project:Interpreter選項。

點擊+號，安裝這個項目需要用的庫，例如：requests、beautifulsoup4、simplejson。

三、項目實現

1、導入需要的庫

import requestsfrom bs4 import  BeautifulSoup as bsimport jsonimport csvimport re

 

2、需要登錄淘寶網，選擇谷歌瀏覽器選擇開發者工具或按F12有個Network選項，查找list_detail_rate.htm?文件

定義一個變量存儲URL地址PAGE_URL = []

定義一個生成鏈接列表函數，使用字符串拼接形成評論的頁數

定義一個獲取評論數據函數內定義需要用到的字段例如：用戶名、評論時間、顏色分類、評論，如下圖所示。


那個cookie值在在開發者工具Network有個item.htm?spm文件有個cookie復制過來就好了。

解析JS文件內容、將數據寫入TEXT文件中，如下圖所示。


最后定義一個主函數爬取需要的評論頁數，如下圖所示。

最后得到的結果如圖所示：

四、總結

本文基於Python網絡爬蟲，采集了淘寶商品的評價，方法行之有效。但是建議不要抓取太多，以免對服務器造成壓力。