沙漠君在歷時半年,修改無數bug,更新一票新功能后,在今天隆重推出最新改進的超級爬蟲Hawk 2.0!
啥?你不知道Hawk干嗎用的? 這是采集數據的挖掘機,網絡獵殺的重狙!半年多以前,沙漠君寫了一篇小軟文,推出了Hawk。關注的人超級多有木有!
Github上的小星星一下子增加到400!超多妹子在沙漠君的粉絲應援團里瘋狂崇拜!然而這不是重點!重點是Hawk真的好多"小"問題...
有朋友哭訴,剛啟動小鷹它就冒煙了,還是烤肉味的!好不容易把小蟲蟲做好,碰了一下顯示器,結果小蟲蟲就撲街了!
每次聽到反饋,我都超想好好地把小鷹改造一番。但是!!你們想不到沙漠君工作有多忙!只有在洗手間的時候,我才空在手紙上寫代碼!
然而!自己挖的坑,哭着也要把它填完!這不,Hawk 2.0橫空出世了!
二鷹新增哪些特性呢?
每當我在妹子們前炫耀Hawk的時候,每點一次鼠標,妹子們就一片贊嘆,對,就這個效果。
裹腳布殺手:全面支持動態頁面
二鷹全面支持動態網頁,ajax和瀑布流。這是啥?你在刷微博看楊臭腳的時候,瀏覽器的地址顯示你家冪冪的名字了嗎? 沒有吧?這就是動態網頁,地址是隱藏在網頁之中的!
怎么辦?你只要把隨便一條微博的一個關鍵詞輸入到“搜索關鍵字”那里,點“開始”自動嗅探。二鷹就會幫你抓到這個請求。不論再臭再長的裹腳布都不怕。
大家都很喜愛鷹1的“手氣不錯”功能,但之前只能處理html,而很難處理內嵌js和json, 現在只要你勾選“超級模式”,不論返回的是何種數據類型。直接點“手氣不錯”,數據表格就完整出來了!其他什么都不用干!
啊啊啊太強大了,理論上沒有二鷹抓不到的網站,除非你的關鍵字實在太蠢,或者網站做得太高級...
反反爬蟲:增加代理
誒誒誒,你又被網站封IP了?誰讓你這么不溫柔?沒有關系,在網頁采集器里配置代理,小蟲蟲就又能接着干活了。
我知道你肯定會問,哪里找代理?那沙漠君就不造了。出門淘寶,想免費的話去翻一翻代理網站,或者搜索“ADSL撥號” 。但是不要用Hawk來做任何非法的用途哦(這段好多敏感詞,捂臉)
(爬數據適可而止,小心被查水表哦,嚴肅臉)
120項改進和優化
沙漠君本來在吃着火鍋改着代碼,但驚訝於Hawk中居然藏了那么多的bug,嚇得我火鍋里的毛肚都燙老了! 不過話說回來,只有這樣你們才會想起我呀~
於是在發布第一版后的三個月,我斷斷續續修復了大概120個bug,錯誤清單上面長長的一片:
- 在某些win7機器上運行不了啊
- 開啟嗅探再關閉軟件,突然上不了網了啦
- 把爬蟲轉換拖進去沒反應啦,其實就是你沒配置好...
...
不好意思,根本列不完,列完你也看不完。
不過,優化了這么多,我還是實現了前向兼容,之前大家設計的工程文件都能繼續使用。反正不會隨隨便便就崩潰了。
其實Hawk的子流系統是個超酷的功能,可惜我覺得100個人里有一個會用就不錯了。這是個啥呢? 簡單說,你可以搭積木,先設計小蟲蟲,再拼成大蟲蟲。甚至支持自己和自己拼起來(專業點叫尾遞歸。邪惡點叫69?啊不要想歪)。
借助子流和內置的Python腳本系統,二鷹能達到圖靈完備,實現任意復雜的邏輯,甚至能做刷票!反正口說無憑,你仔細去感受一下就是了。
沙漠君寫了完整的文檔!
大家最多的反饋,是XXX怎么用啊?泥萌也知道對程序猿來說,寫文檔就像和產品經理吵架一樣痛苦。 我還是咬咬牙,決定寫完整的文檔!
程序員寫文檔一般都不是給地球人看的。但是沙漠君忍了。 恩,6個完整的手把手的例子,到每個模塊的概要說明,想要的基本都能找到。如果有任何問題,直接在GitHub上留言提問,沙漠君實在受不了一個問題重復回答一百遍啊一百遍!
文檔也許現在不全,不過沒關系,我會慢慢補充的,總得給我點時間啦。如果還有bug捏?我保證一口老血吐在你的屏幕上! 當然,如果bug夠高級,你心愛的沙漠君可能會給你發紅包哦。
在哪里獲得?~~
Hawk號稱是數據界的小確幸,它已經被全國政協,婦聯工商聯,各大企事業單位和個人廣泛使用。
Hawk完全免費開源! 目前所有的文檔和發行版,都在GitHub上能找到,直接搜索Hawk即可。 之前的百度雲,CSDN下載都可能不再維護。如果你喜歡它,最少是不是該成為沙漠之鷹微信公號的粉絲呀?是不是該在GitHub上Star一下呀?感興趣的更多的細節,都可以在GiHub上找到。
下載地址:
百度雲地址(方便部分朋友無法訪問Github):
http://pan.baidu.com/s/1hsPuGRE 密碼:n0bu
錄制高清視頻地址:
http://pan.baidu.com/s/1kVG1gs3 密碼:hp8w
如果還找不到? 沙漠之鷹留言或留郵箱,鏈接和安裝包直接發給你!