爬蟲爬取京東、淘寶、蘇寧上華為P20購買評論
1.使用軟件
Anaconda3
2.代碼截圖
三個網站代碼大同小異,因此只展示一個
3.結果(部分)
京東
淘寶
蘇寧
4.分析
這三個網站上的評論數據是動態的,無法直接獲取html解析出來。這些數據是通過數據包的傳輸獲取到這些評論信息,其中通過瀏覽器開發者模式對數據包的查找,得知京東和淘寶是通過后台發的前端的json包解析得到,而蘇寧是js包。但是經過分析,包結構均為:字段(json)結構。只要簡單的去掉“字段()”結構就是簡單的json數據,之后便可以引入python的json包,調用其中的方法便可以提取出評論的字符。