剛剛寫完第一個selenuim+BeautifulSoup實戰爬蟲 爬淘寶。發現代碼寫完后不加for 翻頁的時候沒什么問題 解析 操作 都沒問題 也就是說第一頁 的內容 完好
1 pagebtn=wait .until(EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit"))) 2 soup=BeautifulSoup(browser.page_source,'lxml') 3 info=soup.find(attrs={'id':'mainsrp-itemlist'}) 4 imglist=info.find_all(attrs={'class':'J_ItemPic img'}) 5 pricelist=info.find_all('strong') 6 locationlist=info.find_all(attrs={'class':'location'}) 7 shopnamelist=info.find_all(attrs={'class':'shopname J_MouseEneterLeave J_ShopInfo'}) 8 for imgsrcname,price,location, shopname in zip(imglist,pricelist,locationlist, shopnamelist): 9 data={} 10 data={ 11 'name':imgsrcname.attrs['alt'], 12 'imgsrc':imgsrcname.attrs['src'], 13 'prick':price.get_text(), 14 'location':location.get_text(), 15 'shopname':shopname.contents[3].get_text() 16 } 17 collection.insert(data) 18 19 pagebtn.click()
運行完好 數據庫也有數據
可是需要頻繁點擊翻頁的時候
對於剛剛學習的人 一大串英文 顯然看不懂 百度翻譯 查
檢查代碼,
也加了等待啊 顯示等待
為什么還是報錯
說實話我不知道,,
在前面+了一個sleep(5)讓他慢點操作 就可以了 完美翻頁100
總結:
我覺得在使用selenuim的時候 盡可能的少操作網頁(輸入,點擊),盡量模擬人的行為 機器運行太快 瀏覽器可能反應不過來。