【簡易采集】美團數據抓取方法
最近學習了 一下 如何爬取數據 然后就接觸了 八爪魚 數據分析 這個軟件
詳細信息訪問這個:http://www.bazhuayu.com/tutorial/hottutorial/shfw/xfdp
對於某些用戶來說,直接自定義規則可能有難度,所以在這種情況下,我們提供了網頁簡易模式,網頁簡易模式下存放了國內一些主流網站爬蟲采集規則,在你需要采集相關網站時可以直接調用,節省了制作規則的時間以及精力。
對於我們采集用戶來說,美團數據抓取下來可以分析每一家商鋪的價格,銷量,位置,人均消費,好評率等各種主要信息,幫助你做出更好的判斷,分析當下主流消費用戶的消費情況。
所以本次介紹八爪魚簡易采集模式下“美團爬蟲規則”的使用教程以及注意要點。
步驟一、下載八爪魚軟件並登陸
1、打開/download,即八爪魚軟件官方下載頁面,點擊圖中的下載按鈕。
2、軟件下載好了之后,雙擊安裝,安裝完畢之后打開軟件,輸入八爪魚用戶名密碼,然后點擊登陸
步驟二、設置美團數據抓取規則任務
1、進入登陸界面之后就可以看到主頁上的網站簡易采集了,選擇立即使用即可。
2、進去之后便可以看到目前網頁簡易模式里面內置的所有主流網站了,需要采集美團內容的,這里選擇第四個--美團即可。
3、美團爬蟲規則下內置了很多常用的采集規則,大家可以根據自身實際需求選擇相應的規則,這里僅以“美團-》商家信息-關鍵詞搜索”這條爬蟲規則舉例說明,點擊“立即使用”即可使用。
4、美團-商家信息-關鍵詞搜索簡易采集模式任務界面介紹
查看詳情:點開可以看到示例網址
任務名:自定義任務名,默認為美食商家列表信息采集
任務組:給任務划分一個保存任務的組,如果不設置會有一個默認組
城市頁面地址:輸入你要在美團網上采集的城市url(可放入多個)
搜索關鍵詞:設置你要搜索的關鍵詞,填入即可
示例數據:這個規則采集到的所有字段信息。
5、 美團數據抓取規則設置示例
例如要采集南昌市所有燒烤類的商家信息
在設置里如下圖所示:
任務名:自定義任務名,也可以不設置按照默認的就行
任務組:自定義任務組,也可以不設置按照默認的就行
城市頁面地址:http://nc.meituan.com/
搜索關鍵詞:燒烤
注意事項:URL列表中建議不超過2萬條,大量的URL可以通過八爪魚先抓取美團里每一個城市的url,少量可直接去瀏覽器里獲取。
步驟三、保存並運行美團數據抓取規則
1、設置好爬蟲規則之后點擊保存。
2、保存之后,點擊會出現開始采集的按鈕。
3、 選擇開始采集之后系統將會彈出運行任務的界面,可以選擇啟動本地采集(本地執行采集流程)或者啟動雲采集(由雲服務器執行采集流程),這里以啟動本地采集為例,我們選擇啟動本地采集按鈕。
4、選擇本地采集按鈕之后,系統將會在本地執行這個采集流程來采集數據,下圖為本地采集的效果。(由於數據量較大,我這展示能夠采集到數據后手動停止了)
5、采集完畢之后選擇導出數據按鈕即可,這里以導出excel2003為例,選擇這個選項之后點擊確定。
6、然后選擇文件存放在電腦上的路徑,路徑選擇好之后選擇保存。
7、這樣美團上南昌市關於燒烤類的商家數據就被完整的采集導出到自己的電腦上來了。
爬取數據就是這么的簡單哦