Nodejs爬蟲進階=>異步並發控制

之前寫了個現在看來很不完美的小爬蟲，很多地方沒有處理好，比如說在知乎點開一個問題的時候，它的所有回答並不是全部加載好了的，當你拉到回答的尾部時，點擊加載更多，回答才會再加載一部分，所以說如果直接發送一個問題的請求鏈接，取得的頁面是不完整的。還有就是我們通過訪問鏈接下載圖片的時候，是一張一張來下的，如果圖片數量太多的話，真的是會下到你睡完覺它還在下。

這次的的爬蟲是上次那個的升級版，爬蟲代碼在我的github上可以找到=>NodeSpider。

整個爬蟲的思路是這樣的：在一開始我們通過請求問題的鏈接抓取到部分頁面數據，接下來我們在代碼中模擬ajax請求截取剩余頁面的數據，當然在這里也是可以通過異步來實現並發的，對於小規模的異步流程控制，可以用這個模塊=>eventproxy，但這里我就沒有用啦！我們通過分析獲取到的頁面從中截取出所有圖片的鏈接，再通過異步並發來實現對這些圖片的批量下載。

抓取頁面初始的數據很簡單啊，這里就不做多解釋了

/*獲取首屏所有圖片鏈接*/
var getInitUrlList=function(){
    request.get("https://www.zhihu.com/question/34937418")
            .end(function(err,res){
                if(err){
                    console.log(err);
                }else{
                    var $=cheerio.load(res.text);
                    var answerList=$(".zm-item-answer");
                    answerList.map(function(i,answer){
                        var images=$(answer).find('.zm-item-rich-text img');
                        images.map(function(i,image){
                            photos.push($(image).attr("src"));
                        });
                    });
                    console.log("已成功抓取"+photos.length+"張圖片的鏈接");
                    getIAjaxUrlList(20);
                }
            });
}

模擬ajax請求獲取完整頁面

接下來就是怎么去模擬點擊加載更多時發出的ajax請求了，去知乎看一下吧！

 

有了這些信息，就可以來模擬發送相同的請求來獲得這些數據啦。

/*每隔100毫秒模擬發送ajax請求，並獲取請求結果中所有的圖片鏈接*/
var getIAjaxUrlList=function(offset){
    request.post("https://www.zhihu.com/node/QuestionAnswerListV2")
            .set(config)
                .send("method=next&params=%7B%22url_token%22%3A34937418%2C%22pagesize%22%3A20%2C%22offset%22%3A" +offset+ "%7D&_xsrf=98360a2df02783902146dee374772e51")
                    .end(function(err,res){
                        if(err){
                            console.log(err);
                        }else{
                            var response=JSON.parse(res.text);/*想用json的話對json序列化即可，提交json的話需要對json進行反序列化*/
                            if(response.msg&&response.msg.length){
                                var $=cheerio.load(response.msg.join(""));/*把所有的數組元素拼接在一起，以空白符分隔，不要這樣join()，它會默認數組元素以逗號分隔*/
                                var answerList=$(".zm-item-answer");
                                answerList.map(function(i,answer){
                                    var images=$(answer).find('.zm-item-rich-text img');
                                    images.map(function(i,image){
                                        photos.push($(image).attr("src"));
                                    });
                                });
                                setTimeout(function(){
                                    offset+=20;
                                    console.log("已成功抓取"+photos.length+"張圖片的鏈接");
                                    getIAjaxUrlList(offset);
                                },100);
                            }else{
                                console.log("圖片鏈接全部獲取完畢，一共有"+photos.length+"條圖片鏈接");
                                // console.log(photos);
                                return downloadImg(50);
                            }
                        }
                    });
}

在代碼中post這條請求https://www.zhihu.com/node/QuestionAnswerListV2，把原請求頭和請求參數復制下來，作為我們的請求頭和請求參數，superagent的set方法可用來設置請求頭，send方法可以用來發送請求參數。我們把請求參數中的offset初始為20，每隔一定時間offset再加20，再重新發送請求，這樣就相當於我們每隔一定時間發送了一條ajax請求，獲取到最新的20條數據，每獲取到了數據，我們再對這些數據進行一定的處理，讓它們變成一整段的html，便於后面的提取鏈接處理。

異步並發控制下載圖片
再獲取完了所有的圖片鏈接之后，即判定response.msg為空時，我們就要對這些圖片進行下載了，不可能一條一條下對不對，因為如你所看到的，我們的圖片足足有

沒錯，2萬多張，不過幸好nodejs擁有神奇的單線程異步特性，我們可以同時對這些圖片進行下載。但這個時候問題來了，聽說同時發送請求太多的話會被網站封ip的啊！所有我們肯定不能同時並發下載這兩萬多張圖片，這個時候就需要對異步並發數量進行一些控制了。

在這里用到了一個神奇的模塊=>async，它不僅能幫我們拜托難以維護的回調金字塔惡魔，還能輕松的幫我們進行異步流程的管理。具體看文檔啦，這里就只用到了一個強大的async.mapLimit方法。

var requestAndwrite=function(url,callback){
    request.get(url).end(function(err,res){
        if(err){
            console.log(err);
            console.log("有一張圖片請求失敗啦...");
        }else{
            var fileName=path.basename(url);
            fs.writeFile("./img1/"+fileName,res.body,function(err){
                if(err){
                    console.log(err);
                    console.log("有一張圖片寫入失敗啦...");
                }else{
                    console.log("圖片下載成功啦");
                    callback(null,"successful !");
                    /*callback貌似必須調用，第二個參數將傳給下一個回調函數的result，result是一個數組*/
                }
            });
        }
    });
}

var downloadImg=function(asyncNum){
    /*有一些圖片鏈接地址不完整沒有“http:”頭部,幫它們拼接完整*/
    for(var i=0;i<photos.length;i++){
        if(photos[i].indexOf("http")===-1){
            photos[i]="http:"+photos[i];
        }
    }
    console.log("即將異步並發下載圖片，當前並發數為:"+asyncNum);
    async.mapLimit(photos,asyncNum,function(photo,callback){
        console.log("已有"+asyncNum+"張圖片進入下載隊列");
        requestAndwrite(photo,callback);
    },function(err,result){
        if(err){
            console.log(err);
        }else{
            // console.log(result);<=會輸出一個有2萬多個“successful”字符串的數組
            console.log("全部已下載完畢！");
        }
    });

};

先看這里=>

mapLimit方法的第一個參數photos是所有圖片鏈接的數組，也是我們並發請求的對象，asyncNum是限制並發請求的數量。當我們有這個參數時，比如它的值是10，則它一次就只會幫我們從數組中取10條鏈接，執行並發的請求，這10條請求都得到響應后，再發送下10條請求。

結尾

哦哦~，明天就是除夕了~