好久沒寫博客了，前陣子項目忙着上線，現在有點空閑，就把最近寫的一個爬蟲和大家分享下，統計結果放在了自己買的阿里雲服務器上(點此查看效果)，效果如下：
程序是在工作之余寫的，用了java 的webmgic 框架，這是國內黃億華大師的作品，框架的核心思想借鑒了python 的scrapy 爬蟲。之前也有用scrapy 抓取過一些數據，但這次想嘗試下新的東西，結果很贊。
簡單來說，webmgic 和scrapy 的 核心分布在4個部分：
- Downloader:下載器，一心一意從給的的url中下載網頁。
- PageProcessor:頁面分析器，負責頁面分析，並提取鏈接。
- Scheduler:調度器，從事url 管理，從PageProcessor 獲取url，然后把它交給Downloader 下載。
- Pipeline:管道，負責將分析后的內容保存起來，mysql 或者文件中。
框架的整個架構很清晰，另外還有就是webmagic 的一大特色，就是框架使用了Ioc的思想，提供了注解的功能，結合mybatis 框架，及其方便的的實現了PageProcessor 和Pipeline這兩部分。
如果從網頁中通過正則或者xpath 提取數據不需要經過二次處理，則我們可以用很少的代碼量便可將數據插入數據庫，當然如果要將數據加工處理完再放入數據庫的話，就要自己寫個PageProcessor。
在寫這個程序的時候，踩過一些坑，這里簡單說一下。
1、在使用scheduler的時候，webmagic 支持提供了RedisScheduler和FileCacheQueueScheduler，我選擇了前者，默認只支持使用一個數據庫，后面稍微拓展了下，允許通過傳入 index 來指定redis中數據庫，這樣就可以實現多個爬蟲同時實用redis 中不同的數據庫了。
2、阿里雲安裝redis 時候，一開始沒有到redis.conf中設置daemonize 為yes ,導致在shell 中啟動redis 卡死了好些次。
3、爬蟲爬了半天后，先后出現這兩個錯，
1.WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect. 2.WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
解決方案是：
問題一： echo “vm.overcommit_memory=1” > /etc/sysctl.conf 或 vi /etcsysctl.conf , 然后reboot重啟機器
問題二：echo 511 > /proc/sys/net/core/somaxconn
4、關於登陸的問題，在瀏覽器端登陸后，把cookie 復制出來放到請求里就好，另外自己參考這網上的一些示例寫了一個簡單的模擬登陸的小程序，支持一些沒有用js動態控制和生產token的網站，實現了登陸后把cookie 寫入配置文件。
private Site site = Site.me().setCycleRetryTimes(5).setRetryTimes(5).setSleepTime(300).setTimeOut(3 * 60 * 1000)
.setUserAgent(
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.65 Safari/537.31")
.setCharset("UTF-8")
.addCookie("_xsrf", "cf81e98c4f3b9ea548e9df87a4e5a320")
.addCookie("_za", "8d9d4056-20d8-4d22-bdf7-e88443560b4e")
.addCookie("z_c0", "QUFDQVBrOGlBQUFYQUFBQVlRSlZUYUQ2dGxiSGozdE42SnNlbzg0U2o2WGk5RDZ2Yi1VWUd3PT0=|1452240288|066af60adedc1989e42f55733738e2738a00c2ed") ;
5、其實寫這程序的時候是希望實現通過web 的方式來控制啟用和停止爬蟲的，中間試過延遲加載bean ,來實現web 控制爬蟲啟動，但不知咋停止。后面聽朋友說，公司一般都是通過腳本來控制爬蟲，事實我也是把爬蟲丟在linux 上，用腳本控制的，於是乎就覺得這需求沒有多大必要，就木有折騰了。嗯，如果非得做出功能的話，大概也是在web程序里面實現腳本調用這樣功能吧。
最后總結下，寫這個爬蟲還是蠻有樂趣的。從寫爬蟲，后面買阿里雲的服務器，安裝nginx,mysql,redis,git，然后用自己在公司學到的spring-boot+mybatis這一套，配合着百度echart，簡單整合了下，做出了點能讓人看到東西，學到不少。
最后貼上程序在github 上的 地址 https://github.com/QiuMing/zhihuWebSpider
簡單的的模擬的登陸程序，可以保存cookie 到配置文件 https://github.com/QiuMing/SimulateLogin