node.js+mongodb 爬蟲

demo截圖：

本demo爬瓜子二手車北京區的數據 (注:需要略懂 node.js / mongodb 不懂也沒關系 因為我也不懂啊~~~)

之所以選擇爬瓜子二手車網站有兩點：

一、網站無需登錄，少做模擬登錄；

二、數據鏈接沒有加密，直接可以用；

網上很多node.js爬蟲的栗子

但大多是一個頁面的栗子，很少跟數據庫結合的 所以我這個栗子是糖炒的

我的基本思路是這樣的

1、先在mongodb里存所有頁的鏈接地址的集合

2、在根據這些鏈接地址 一個一個的把詳細信息爬下來

第一步在搜索頁找到翻頁的規律

像搜索頁北京區第一頁就是 

https://www.guazi.com/bj/buy/o1/

第二頁

https://www.guazi.com/bj/buy/o2/

規律就是 

https://www.guazi.com/bj/buy/o + number

然后第一頁的時候你就可以知道最多50頁

這樣你就可以循環這些鏈接在把每個頁面的車的詳情鏈接存到mongodb的集合里

第二步讀mongodb的集合找出所有的鏈接 循環鏈接爬詳情頁數據

項目目錄:

 

目錄講解：

reptile.js      //爬所有鏈接的;

carinfo.js     //爬車輛詳情頁;

package.json  //配置文件

package.json:

{
  "name": "sell-car",
  "version": "1.0.0",
  "description": "",
  "main": "index.js",
  "scripts": {
    "test": "echo \"Error: no test specified\" && exit 1"
  },
  "author": "",
  "license": "ISC",
  "devDependencies": {
    "cheerio": "^0.22.0",
    "mongoose": "^4.7.1"
  }
}

 reptile.js 存mongodb集合   在cmd執行的 node reptile.js 

'use strict';
var http = require('https');                      //node https 模塊;
var cheerio = require('cheerio');                 //解析html模塊；
var mongoose = require('mongoose');               //操作mongodb數據庫模塊;
mongoose.connect('mongodb://localhost/car');      //鏈接數據庫;

var num = 0;                                      //當前第幾頁;
var maxNum = 0;                                   //最大頁數;

var url = 'https://www.guazi.com/bj/buy/o';       //瓜子二手車搜索頁北京區；  

var PersonSchema = new mongoose.Schema({          //json的結構;
      address:String   //定義一個屬性name，類型為String
    });

var sellCar = mongoose.model('sell_car', PersonSchema );   //創建model


fetchPage(url+1);           //主程序開始運行

function fetchPage(x) {     //封裝了一層函數
    startRequest(x); 
}

function startRequest(x) {
    //采用http模塊向服務器發起一次get請求      
    http.get(x, function (res) {   
         
        var html = '';             //用來存儲請求網頁的整個html內容
        var titles = [];        
        res.setEncoding('utf-8');  //防止中文亂碼
        //監聽data事件，每次取一塊數據
        res.on('data', function (chunk) { 

            html += chunk;

        });

        //監聽end事件，如果整個網頁內容的html都獲取完畢，就執行回調函數
        res.on('end', function () {

            var $ = cheerio.load(html);   //采用cheerio模塊解析html
        
            var $a_src = $('.imgtype');   //讀取出當前搜索頁每輛車詳情的地址;

            $a_src.each(function(i,obj){   //循環每地址鏈接存入數據庫;

                var _src = $(obj).attr('href');
                

                var carHref = new sellCar({ address: _src });  //存入mongodb;
                carHref.save(function (err) {
                  if (err) {
                    console.log(err);
                  }
                });

             })

         num++;  //頁碼增加;

         if( num == 1 ){         //判斷是第一次，給最大頁數賦值;
            maxNum = $('.pageLink li').eq($('.pageLink li').length-2).find('span').text();
         }

         if( num == maxNum ){    //頁數等於最大頁數等值程序;
           return ; 
         }

         fetchPage(url+num);
         
       });

    });
}

 

carinfo.js 車輛詳情 在cmd執行 node  carinfo.js 

'use strict';
var http = require('https');                    //node https 模塊;
var cheerio = require('cheerio');               //解析html模塊；
var mongoose = require('mongoose');             //操作mongodb數據庫模塊;    
mongoose.connect('mongodb://localhost/car');    //鏈接數據庫;    

var readCarPer = new mongoose.Schema({          //json的結構;
      address:String   
    });

var PersonSchema = new mongoose.Schema({        //定義json類型;
        info:String,                  //車；
        money:String,                 //價錢;
        phone:String,                 //電話號碼;
        time:String,                  //上牌時間;
        mileage:String,               //公里數;
        gearbox:String,               //變速箱;
        emission:String,              //排放標准;
        location:String,              //上牌地;
        imgs:Array                    //圖片;
    });

var num = 0;
var readCar = mongoose.model('sell_cars',readCarPer);           
var sellCarInfo = mongoose.model('sell_carInfo', PersonSchema );

var json = null;                      
var url = 'https://www.guazi.com';    //補鏈接前邊的鏈接;
var time = null;                      //間隔時間;
var maxNum = 0;                       


readCar.find({},function(err, character){   //查找數據;

    console.log('成功讀取地址');              

    if(err){
        console.log(err);
    }else{
        json = character;               
        maxNum = json.length;
        
        calls();

    }
    
})


function calls(){
   num++;
   if( num > maxNum ){      //判斷是否霸區成功;
        console.log('數據爬去完成~~~');
        return false;
   }

   clearTimeout(time);
   var lu = json[num].address;

   time = setTimeout(function(){
        
        fetchPage(url+lu);      //主程序開始運行

   },5000);

}

function fetchPage(x) {     //封裝了一層函數
    startRequest(x); 
}

function startRequest(x) {
    console.log(x);
     //采用http模塊向服務器發起一次get請求    
    http.get(x, function (res) {   
         
        var html = '';        //用來存儲請求網頁的整個html內容
        var titles = [];        
        res.setEncoding('utf-8'); //防止中文亂碼
        //監聽data事件，每次取一塊數據
        res.on('data', function (chunk) { 

            html += chunk;

        });

        //監聽end事件，如果整個網頁內容的html都獲取完畢，就執行回調函數
        res.on('end', function () {
            
            var $ = cheerio.load(html); //采用cheerio模塊解析html
    
            var info = $('.dt-titletype').text()                    //車名；
            var money =  $('.numtype').text();                      //錢；
            var phone = $('.teltype').eq(0).text();                 //電話
            var time = $('.assort li').eq(0).find('b').text();      //上牌時間
            var mileage = $('.assort li').eq(1).find('b').text();   //里程數
            var gearbox = $('.assort li').eq(2).find('b').text();   //變速箱
            var emission = $('.assort li').eq(3).find('b').text();  //排放標准
            var location = $('.assort li').eq(4).find('b').text();  //上牌地

            var $imgs = $('.dt-pictype img');                   
            var imgs = [];

            $imgs.each(function(i,obj){                             //圖片循環賦值;
                var img_src = $(obj).attr('data-original');
                imgs.push(img_src);
            });

            var carInfos = new sellCarInfo({      //保存數據;
                info:info,                                                    
                money:money,
                phone:phone,
                time:time,
                mileage:mileage,
                gearbox:gearbox,
                emission:emission,
                location:location,
                imgs:imgs 
            });

            carInfos.save(function (err) {
              if (err) {
                console.log(err);
              } else {
                console.log('成功數據！~~~');
                calls();
              }
            });
        
       });

    });
} 

 當時爬數據的截屏:

 

后記：

這里我沒說 mongodb 安裝、啟動、設置存儲地址 是因為 mongodb本身在window和mac其實是不一樣的所以需要你自己在找找別的文章看看怎么配置(注：window跑真的挺蛋疼的。。。。歡迎去感受一下)

這個栗子的第一個條件就是你要現在cmd里跑起來mongodb 要不剩下的都是白瞎

簡單的mongodb的增刪改查看看 菜鳥教程 就行 實在不行用Robomongo圖形界面也行 

說一個小問題

就是我在爬搜索的車輛鏈接的時候 因為下一頁設置的間隔時間比較短 原本2000條的數據最后只爬下來1160,所以爬車輛詳情的時候把間隔調成了5秒 需要注意一下;

如圖：

 

參考資料:

小小石頭的那些事兒  :  http://blog.csdn.net/yezhenxu1992/article/details/50820629

菜鳥教程                :  http://www.runoob.com/mongodb/mongodb-tutorial.html