[Python爬蟲] Selenium +phantomjs 模擬下拉滾動條


  在爬蟲中,有時會遇到這種情況,數據的展示是不是一頁一頁的,而是通過不斷的下拉滾動條來加載數據。例如一點咨詢(http://www.yidianzixun.com/)和微博(在未登錄的狀態下:http://weibo.com/?category=2)

  那么這種情況,在抓取數據的時候,如果要抓取更多的數據,就需要模擬人工來下拉滾動條,來加載更多的數據進行抓取。通過運行js 腳本來達到目的

  具體方法如下:    

  def scroll_foot(self):
  '''
  滾動條拉到底部
  :return:
  '''
  js = "var q=document.documentElement.scrollTop=10000"
    #將滾動條移動到頁面的頂部  
    js="var q=document.documentElement.scrollTop=0"  

      return self.driver.execute_script(js)

#若要對頁面中的內嵌窗口中的滾動條進行操作,要先定位到該內嵌窗口,在進行滾動條操作 js="var q=document.getElementById('id').scrollTop=100000" driver.execute_script(js) 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM