python爬蟲之如何隨機更換User-Agent

這是python里面的一個useragent池，非常好用！具體怎么用呢？

首先，安裝fake-useragent

    pip install fake-useragent

然后，使用方法

 

from fake_useragent import UserAgent

ua = UserAgent()
headers = {'User-Agent':ua.random}

注意，有些網站可能會根據user-agent來封IP，也就是說他們會根據同一個IP下，如果是很多個不同user-agent在訪問，那么，此時，他們就會判定為爬蟲。

對應策略的話可以架構一個ip代理池配合UA使用。