在爬蟲的過程中，我們經常會遇見很多網站采取了防爬取技術，或者說因為自己采集網站信息的強度和采集速度太大，給對方服務器帶去了太多的壓力。
如果你一直用同一個代理ip爬取這個網頁，很有可能ip會被禁止訪問網頁，所以基本上做爬蟲的都躲不過去ip的問題。
通常情況下，爬蟲用戶自己是沒有能力去自己維護服務器或者是自己搞定代理ip的問題的，一來是因為技術含量太高，二來是因為成本太高。
當然，也有很多人會在網上放一些免費的代理ip，但是從實用性、穩定性以及安全性來考慮，不推薦大家使用免費的ip。網上公布的代理ip不一定是可用的，很可能你在使用過程中會發現ip不可用或者已失效的情況。
所以現在，許許多多的代理服務器應運而生，基本都能提供ip代理的服務，區別在於價格和有效性。
當然，也有很多人會動歪腦筋，想着抓取一些代理服務器的ip資源，這里也給大家提個醒：爬蟲抓取必須要在合法范圍內進行，切莫做一些不合法的事情。
如果需要使用代理，你可以通過為任意請求方法提供 proxies 參數來配置單個請求：
