搭建免費代理池

搭建免費代理池

https://github.com/jhao104/proxy_pool

# 收費的：提供給你一個接口，每調一次這個接口，獲得一個代理
# 免費：用爬蟲爬取，免費代理，放到我的庫中，flask，django搭一個服務（刪除代理，自動測試代理可用性），每次發一個請求，獲取一個代理

# 帶你配置

# 1 下載，解壓，用pycharm打開
# 2 安裝依賴 pip install -r requirements.txt
# 3 配置Config/setting.py:
    DB_TYPE = getenv('db_type', 'redis').upper()
    DB_HOST = getenv('db_host', '127.0.0.1')
    DB_PORT = getenv('db_port', 6379)
    DB_PASSWORD = getenv('db_password', '')
# 4 本地啟動redis-server

# 5 可以在cli目錄下通過ProxyPool.py
    -python proxyPool.py schedule :調度程序，他會取自動爬取免費代理
    -python proxyPool.py webserver:啟動api服務，把flask啟動起來