打造輕量級可視化數據爬取工具-菩提
https://mp.weixin.qq.com/s/TBYcWxT6MSAgI6Y4g53TNA
scrapy 是一個非常優秀的開源框架,但是需要編碼,使用技術門檻較高,跟我們的初衷不符;
portia 是應該是第一個開源的可視化 web 數據爬取工具,想法非常好,但是僅支持靜態網頁,沒有對動態網頁提供支持,在幾乎全是動態網頁的今天明顯不能完成大多數頁面的提取;
八爪魚是國內使用量最大的商業數據爬取工具之一,提供客戶端,其免費版無法做到大規模、7*24 小時的持續爬取,無法滿足工業化應用;
-
參考https://blog.csdn.net/Tencent_TEG/article/details/103707723
-
沒有找到可用的入口
后羿采集器 http://www.houyicaiji.com
前谷歌技術團隊傾力打造,基於人工智能技術,只需輸入網址就能自動識別采集內容
- 看起來不錯的樣子,收費~
- 果然優秀的東西都不免費