爬蟲爬取網頁數據的時候,有時候因訪問頻率太過於規律導致被服務器發現,出現訪問超時或者被封ip的情況。所以,每一輪爬取,后面加一個隨時等待時間,可以減少被發現的概率
主要用到random和time庫
實現腳本如下
import random import time for a in range(10): b = random.randint(1,10)#隨機從1到10內取一個整數值 print(a) time.sleep(b)#把隨機取出的整數值傳到等待函數中
以上
爬蟲爬取網頁數據的時候,有時候因訪問頻率太過於規律導致被服務器發現,出現訪問超時或者被封ip的情況。所以,每一輪爬取,后面加一個隨時等待時間,可以減少被發現的概率
主要用到random和time庫
實現腳本如下
import random import time for a in range(10): b = random.randint(1,10)#隨機從1到10內取一個整數值 print(a) time.sleep(b)#把隨機取出的整數值傳到等待函數中
以上
本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。