Python爬蟲之selenium各種注意報錯

 

剛剛寫完第一個selenuim+BeautifulSoup實戰爬蟲 爬淘寶。發現代碼寫完后不加for 翻頁的時候沒什么問題 解析 操作 都沒問題 也就是說第一頁 的內容 完好

  pagebtn=wait .until(EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit")))
          soup=BeautifulSoup(browser.page_source,'lxml')
          info=soup.find(attrs={'id':'mainsrp-itemlist'})
          imglist=info.find_all(attrs={'class':'J_ItemPic img'})
          pricelist=info.find_all('strong')
          locationlist=info.find_all(attrs={'class':'location'})
          shopnamelist=info.find_all(attrs={'class':'shopname J_MouseEneterLeave J_ShopInfo'})
          for imgsrcname,price,location, shopname in zip(imglist,pricelist,locationlist, shopnamelist):
              data={}
              data={
                  'name':imgsrcname.attrs['alt'],
                  'imgsrc':imgsrcname.attrs['src'],
                  'prick':price.get_text(),
                  'location':location.get_text(),
                  'shopname':shopname.contents[3].get_text()
              }
              collection.insert(data)

          pagebtn.click()

 

運行完好 數據庫也有數據 

可是需要頻繁點擊翻頁的時候

 

 對於剛剛學習的人 一大串英文 顯然看不懂 百度翻譯 查

檢查代碼，

也加了等待啊 顯示等待

為什么還是報錯 

說實話我不知道，，

在前面+了一個sleep（5）讓他慢點操作 就可以了 完美翻頁100

 

總結：

         我覺得在使用selenuim的時候 盡可能的少操作網頁（輸入，點擊），盡量模擬人的行為 機器運行太快  瀏覽器可能反應不過來。