Python爬蟲之selenium各種注意報錯


 

剛剛寫完第一個selenuim+BeautifulSoup實戰爬蟲 爬淘寶。發現代碼寫完后不加for 翻頁的時候沒什么問題 解析 操作 都沒問題 也就是說第一頁 的內容 完好

 1   pagebtn=wait .until(EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit")))
 2           soup=BeautifulSoup(browser.page_source,'lxml')
 3           info=soup.find(attrs={'id':'mainsrp-itemlist'})
 4           imglist=info.find_all(attrs={'class':'J_ItemPic img'})
 5           pricelist=info.find_all('strong')
 6           locationlist=info.find_all(attrs={'class':'location'})
 7           shopnamelist=info.find_all(attrs={'class':'shopname J_MouseEneterLeave J_ShopInfo'})
 8           for imgsrcname,price,location, shopname in zip(imglist,pricelist,locationlist, shopnamelist):
 9               data={}
10               data={
11                   'name':imgsrcname.attrs['alt'],
12                   'imgsrc':imgsrcname.attrs['src'],
13                   'prick':price.get_text(),
14                   'location':location.get_text(),
15                   'shopname':shopname.contents[3].get_text()
16               }
17               collection.insert(data)
18 
19           pagebtn.click()

 

運行完好 數據庫也有數據 

可是需要頻繁點擊翻頁的時候

 

 對於剛剛學習的人 一大串英文 顯然看不懂 百度翻譯 查

檢查代碼,

也加了等待啊 顯示等待

為什么還是報錯 

說實話我不知道,,

在前面+了一個sleep(5)讓他慢點操作 就可以了 完美翻頁100

 

總結:

         我覺得在使用selenuim的時候 盡可能的少操作網頁(輸入,點擊),盡量模擬人的行為 機器運行太快  瀏覽器可能反應不過來。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM