如何搭建一個免費的代理池

了解：

# 收費的：提供給你一個接口，每掉一次這個接口，獲得一個代理
# 免費：用爬蟲爬取，免費代理，放到自己的庫中，用flask，django搭一個服務（可以刪除代理，自動測試代理可用性），每次發一個請求，獲取一個代理

配置過程：

1.到github上下載這個安裝包，解壓后用pycharm打開

https://github.com/jhao104/proxy_pool

2.安裝依賴

pip install -r requirements.txt

 

 

3 配置Config/setting.py:

DB_TYPE = getenv('db_type', 'redis').upper()
DB_HOST = getenv('db_host', '127.0.0.1')
DB_PORT = getenv('db_port', 6379)
DB_PASSWORD = getenv('db_password', '')

4 本地啟動redis-server

5 在Terminal中cd到cli目錄下通過ProxyPool.py python proxyPool.py schedule:調度程序，他會取自動爬取免費代理 python proxyPool.py webserver:啟動api服務，把flask啟動起來

6.通過啟動的flask發送get請求就能拿到代理了