腾讯发布了一款可视化爬虫工具


打造轻量级可视化数据爬取工具-菩提
https://mp.weixin.qq.com/s/TBYcWxT6MSAgI6Y4g53TNA

scrapy 是一个非常优秀的开源框架,但是需要编码,使用技术门槛较高,跟我们的初衷不符;
portia 是应该是第一个开源的可视化 web 数据爬取工具,想法非常好,但是仅支持静态网页,没有对动态网页提供支持,在几乎全是动态网页的今天明显不能完成大多数页面的提取;
八爪鱼是国内使用量最大的商业数据爬取工具之一,提供客户端,其免费版无法做到大规模、7*24 小时的持续爬取,无法满足工业化应用;

  • 参考https://blog.csdn.net/Tencent_TEG/article/details/103707723

  • 没有找到可用的入口


后羿采集器 http://www.houyicaiji.com
前谷歌技术团队倾力打造,基于人工智能技术,只需输入网址就能自动识别采集内容

  • 看起来不错的样子,收费~
  • 果然优秀的东西都不免费


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM