企查查每日新增企業數據抓取
尚未完成的工作:
- 需要自行抓包獲取設備id,appid,sign等等
- sign和時間戳保持一致即可
- 把所有的數據庫、redis配置
- 無法自動登錄,賬號需要獨立
- redis數據轉存mysql
- 企查查限制,每分鍾請求大概不能超過30次,所有功能未加並發,請不要使用代理並發,會封賬戶的
- 有些工作尚未完成,需要自己進行繼續開發,可以找我要app的脫殼源代碼,繼續分析。
*已經完成工作
- 每天定時抓取
- 自動刷新token
- 省份、市的所有代碼
- token自動刷新
- 根據地址自動將省份、市、區縣進行分割
- 所有數據存到redis里面
- 所有代碼已經發在github上邊https://github.com/zhaoboy9692/qccspider
每日技術交流,每日爬蟲學習,關注我的技術公眾號吧