python爬蟲爬取京東、淘寶、蘇寧上華為P20購買評論


爬蟲爬取京東、淘寶、蘇寧上華為P20購買評論

1.使用軟件

Anaconda3

2.代碼截圖

三個網站代碼大同小異,因此只展示一個

3.結果(部分)

京東

淘寶

蘇寧

4.分析

這三個網站上的評論數據是動態的,無法直接獲取html解析出來。這些數據是通過數據包的傳輸獲取到這些評論信息,其中通過瀏覽器開發者模式對數據包的查找,得知京東和淘寶是通過后台發的前端的json包解析得到,而蘇寧是js包。但是經過分析,包結構均為:字段(json)結構。只要簡單的去掉“字段()”結構就是簡單的json數據,之后便可以引入python的json包,調用其中的方法便可以提取出評論的字符。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM