前言
大網站都會有反爬機制,會通過檢查請求頭里是否帶有user-agent來判斷請求是否是爬蟲。當但即使你加上user-agent后,頻繁的使用同一個user-agent進行請求后,還是會觸發反爬機制,所以就有了神奇的faker庫
安裝
pip install faker
例子
1 from faker import Factory 2 # 生成不同的user-agent 3 User_Agent = Factory.create() 4 for i in range(10): 5 print(User_Agent.user_agent())
實戰
Faker庫的實戰例子可以看一下我這篇文章 Python爬蟲增加CSDN博客訪問量
