在一次寫爬蟲demo的時候,發現請求的網站需要帶cookie才能請求到數據。於是最開始選擇的axios去請求數據,但是axios好像在header中設置cookie屬性沒有效果。
axios({
url: url,
params: query,
headers: {
'Cookie': 'key=value'
}
})
於是我網上搜索了一番,發現 superagent 可以發出帶cookie的請求,於是實驗了一番,發現真的成功了,所以來記錄一下。
const express = require("express")
const request = require('superagent')
const app = express()
app.get("/", async function (req, res) {
res.header("Access-Control-Allow-Origin", 'http://127.0.0.1:5500')
res.header("Access-Control-Allow-Credentials", true)
let query = {
key:value
}
request
.get("http://target.com")
.set('Cookie', "key=value")
.query(query)
.end(function (request, response) {
res.send(response)
})
})
app.listen(3000, function () {
console.log("http://localhost:3000");
})