NodeJs簡單七行爬蟲--爬取自己Qzone的說說並存入數據庫

沒有那么難的，嘿嘿，說起來呢其實挺簡單的，或者不能叫爬蟲，只需要將自己的數據加載到程序里再進行解析就可以了，如果說你的Qzone是向所有人開放的，那么就有一個JSONP的接口，這么說來就簡單了，也就不用我們再利用phantomjs，緩慢的爬了。其實程序還沒有做的太過完美，只是簡單地可以打印出來說說的內容，明天再做一下，把說說存到數據庫里，嘿嘿。
做這個呢，需要用到一個開源庫，nodegrass，這個庫呢也並不是必須的，它是對nodejs里的http.request的封裝。
其實基本原型就在這里了，所需要的已經在代碼里了。當然了里邊的那個鏈接是我自己的JSONP的接口，如果你懂的話，你會知道怎么改成你的JSONP接口，但是需要說的是必須空間對所有人開放。

var nodegrass = require('nodegrass');
var sqlite3 = require('sqlite3').verbose();
var db = new sqlite3.Database('blog.db');
var tmp = 0;
function nodepa(tmp) {
    if (tmp == 10) tmp--;
    nodegrass.get("http://taotao.qq.com/cgi-bin/emotion_cgi_homepage_msg?owneruin=1187772742&start=" + tmp + "&num=10&format=jsonp", function(data, status, headers) {
        var json = JSON.parse(data.slice(10, -2));
        for (var s in json['result']['posts']) {
            db.run("insert into qzone values('" + (Number(s) + tmp).toString() + "','" + json['result']['posts'][s]['content'].toString() + "','" + json['result']['posts'][s]['create_time'].toString() + "','" + json['result']['posts'][s]['createTime2'].toString() + "')", function() {
                if (this.changes == undefined || this.changes == null)console.log("err");
            })
            console.log(json['result']['posts'][s]['content']);
            console.log(json['result']['posts'][s]['createTime2']);
            console.log(Number(s) + tmp);
        }
        if (tmp < 2640) nodepa(tmp + 10);
        else return;
    }, 'utf-8').on('error', function(e) {
        console.log("Got error: " + e.message);
    });
}
nodepa(tmp);