企查查app新增企業數據抓取


企查查每日新增企業數據抓取
尚未完成的工作:

  • 需要自行抓包獲取設備id,appid,sign等等
  • sign和時間戳保持一致即可
  • 把所有的數據庫、redis配置
  • 無法自動登錄,賬號需要獨立
  • redis數據轉存mysql
  • 企查查限制,每分鍾請求大概不能超過30次,所有功能未加並發,請不要使用代理並發,會封賬戶的
  • 有些工作尚未完成,需要自己進行繼續開發,可以找我要app的脫殼源代碼,繼續分析。

*已經完成工作

  • 每天定時抓取
  • 自動刷新token
  • 省份、市的所有代碼
  • token自動刷新
  • 根據地址自動將省份、市、區縣進行分割
  • 所有數據存到redis里面
  • 所有代碼已經發在github上邊https://github.com/zhaoboy9692/qccspider

每日技術交流,每日爬蟲學習,關注我的技術公眾號吧


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM