前言
周末自己在家閑着沒事，刷着微信，玩着手機，發現自己的微信頭像該換了，就去網上找了一下頭像，看着圖片，自己就想着作為一個碼農，可以把這些圖片都爬取下來做成一個微信小程序，說干就干，了解一下基本都知道怎么做了，整理分享一波給大家。
目錄：
- 安裝node，並下載依賴
- 搭建服務
- 請求我們要爬取的頁面，返回json
安裝node
我們開始安裝node，可以去node官網下載node下載地址，下載完成后運行node使用，
node -v
安裝成功后會出現你所安裝的版本號。
接下來我們使用node, 打印出hello world，新建一個名為index.js文件輸入
console.log('hello world')
運行這個文件
node index.js
就會在控制面板上輸出hello world
搭建服務器
新建一個·名為node的文件夾
首先你需要下載express依賴
npm install express
在新建一個名為demo.js的文件
項目目錄結構
如圖：
在demo.js引入下載的express
const express = require('express');
const app = express();
app.get('/index', function(req, res) {
res.end('111')
})
var server = app.listen(8081, function() {
var host = server.address().address
var port = server.address().port
console.log("應用實例，訪問地址為 http://%s:%s", host, port)
})
運行效果
運行node demo.js簡單的服務就搭起來了，如圖：
請求我們要爬取的頁面
首先下載需要的依賴
npm install superagent
npm install superagent-charset
npm install cheerio
superagent 是用來發起請求的，是一個輕量的,漸進式的ajax api,可讀性好,學習曲線低,內部依賴nodejs原生的請求api,適用於nodejs環境下.，也可以使用http發起請求
superagent-charset防止爬取下來的數據亂碼，更改字符格式
cheerio為服務器特別定制的，快速、靈活、實施的jQuery核心實現.。
安裝完依賴就可以引入了
var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
const cheerio = require('cheerio');
引入之后就請求我們的地址，https://www.qqtn.com/tx/weixintx_1.html
const baseUrl = 'https://www.qqtn.com/'
這些設置完之后就是發請求了，接下來請看完整代碼demo.js
var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
var express = require('express');
var baseUrl = 'https://www.qqtn.com/'; //輸入任何網址都可以
const cheerio = require('cheerio');
var app = express();
app.get('/index', function(req, res) {
//設置請求頭
res.header("Access-Control-Allow-Origin", "*");
res.header('Access-Control-Allow-Methods', 'PUT, GET, POST, DELETE, OPTIONS');
res.header("Access-Control-Allow-Headers", "X-Requested-With");
res.header('Access-Control-Allow-Headers', 'Content-Type');
//類型
var type = req.query.type;
//頁碼
var page = req.query.page;
type = type || 'weixin';
page = page || '1';
var route = `tx/${type}tx_${page}.html`
//網頁頁面信息是gb2312，所以chaeset應該為.charset('gb2312')，一般網頁則為utf-8,可以直接使用.charset('utf-8')
superagent.get(baseUrl + route)
.charset('gb2312')
.end(function(err, sres) {
var items = [];
if (err) {
console.log('ERR: ' + err);
res.json({ code: 400, msg: err, sets: items });
return;
}
var $ = cheerio.load(sres.text);
$('div.g-main-bg ul.g-gxlist-imgbox li a').each(function(idx, element) {
var $element = $(element);
var $subElement = $element.find('img');
var thumbImgSrc = $subElement.attr('src');
items.push({
title: $(element).attr('title'),
href: $element.attr('href'),
thumbSrc: thumbImgSrc
});
});
res.json({ code: 200, msg: "", data: items });
});
});
var server = app.listen(8081, function() {
var host = server.address().address
var port = server.address().port
console.log("應用實例，訪問地址為 http://%s:%s", host, port)
})
運行demo.js就會返回我們拿到的數據，一個簡單的node爬蟲就完成了。希望可以到 項目node爬蟲 上點一個 star 作為你對這個項目的認可與支持，謝謝。
node：爬蟲爬取網頁圖片
注：本文著作權歸作者，由demo大師代發，拒絕轉載，轉載需要作者授權