MAC 上抓取網頁數據的工具有哪些？

我希望能夠從網頁上, 比如氣象局數據, 財經數據等等, 我看到官方提供的數據都比較混亂, 有的是一個php文件, 有的是一個文本, 有的干脆不提供數據, 我想問, Mac上, 用什么工具去抓數據, 以及處理這些數據大神們一般用很么方法?

鏈接：https://www.zhihu.com/question/27736988/answer/174849599

https://www.zhihu.com/question/27736988

1、http://Import.io

import.io

用法非常簡單，注冊后輸入網址鏈接，就可以在可視化界面對數據進行篩選。操作也是超級簡單，如下圖，唯一缺點就是全英文，不過咱們自己也有，來看看第二個吧。

2、parsehub

parsehub

與以上兩種網頁抓取不同的是，parsehub需要用戶下載客戶端之后再使用，打開就像一個瀏覽器，輸入網址后在網頁提取出需要的信息。

https://ma.taobao.com/ZTg4et (二維碼自動識別)

3、80legs

80legs

80legs在由5萬台計算機構成的Plura網格 上每天抓取200萬網頁。 但是在使用上可能並沒有前幾個那么好用。

4、Web Scraper

Web Scraper

Web Scraper是需要在谷歌應用商店安裝的一個插件，基本步驟就是點點點

詳細的教程可以看這里http://www.w 2bc.com/article/241334

https://ma.taobao.com/ZTg4et (二維碼自動識別)

5、FMiner

FMiner

FMiner同樣也需要下載客戶端進行使用，但它是一款付費產品，有15天的免費使用期。

總結

以上介紹的都是國外的工具，如果更喜歡中文界面，可以來試試我們的產品造數造數 -深受廣大爬蟲愛好者喜歡的雲爬蟲

造數比http://import.io更適合國人使用。直接在原網頁基礎上操作，還可以分布式爬取、深度爬取等，對數據有需求的可以嘗試下。

其實網頁爬取工具很多，大可不必全部掌握，把它當作工具來方便自己的工作才是本文的目標。

 

 

作者：徐小磊
鏈接：https://www.zhihu.com/question/27736988/answer/497899625
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。

我在mac上用的是下圖這個，日常基本數據的爬取足夠了。

1）日常臨時性的，或者快速的數據爬取，就用這個

2）其他的還是會寫寫python爬取，畢竟開發需要時間和成本，要考慮投入產出比

 

應用信息 主界面，和八抓魚差不多 爬取規則頁面，也和八抓魚差不多，不過更好看和方便