在爬蟲中,有時會遇到這種情況,數據的展示是不是一頁一頁的,而是通過不斷的下拉滾動條來加載數據。例如一點咨詢(http://www.yidianzixun.com/)和微博(在未登錄的狀態下:http://weibo.com/?category=2)
那么這種情況,在抓取數據的時候,如果要抓取更多的數據,就需要模擬人工來下拉滾動條,來加載更多的數據進行抓取。通過運行js 腳本來達到目的
具體方法如下:
def scroll_foot(self):
'''
滾動條拉到底部
:return:
'''
js = "var q=document.documentElement.scrollTop=10000"
#將滾動條移動到頁面的頂部
js="var q=document.documentElement.scrollTop=0"
return self.driver.execute_script(js)
#若要對頁面中的內嵌窗口中的滾動條進行操作,要先定位到該內嵌窗口,在進行滾動條操作 js="var q=document.getElementById('id').scrollTop=100000" driver.execute_script(js)