python爬蟲---實現項目(三) Selenium分析美團美食


  上一期博客,我本來想爬取美團美食的,但是由於請求頭太復雜,沒有破解開其中的幾個參數,所以放棄,這次我們來用selenium來模式瀏覽器抓取數據,我們先來簡單看一下流程:

  1,利用selenium驅動瀏覽器,得到美食列表

  2,分析網頁,並給予翻頁后續的美食列表

  3,分析提取數據(pyQuery)

項目一:美團美食

項目地址:https://gitee.com/dwyui/pyQuery_selenium.git

由於美團反扒嚴重,只爬取到部分數據,可以嘗試修改間隔時間來多次嘗試。

也可以自己嘗試使用PhantomJS來爬取數據,和原來的代碼幾乎一致.

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM