NodeJS學習筆記 進階 (8)express+morgan實現日志記錄(ok)

個人總結:這篇文章講解了Express框架中日志記錄插件morgan的示例。讀完這篇文章需要10分鍾

 

摘選自網絡

章節概覽

morgan是express默認的日志中間件，也可以脫離express，作為node.js的日志組件單獨使用。本文由淺入深，內容主要包括：

• morgan使用入門例子
• 如何將日志保存到本地文件
• 核心API使用說明及例子
• 進階使用：1、日志分割 2、將日志寫入數據庫
• 源碼剖析：morgan的日志格式以及預編譯

入門例子

首先，初始化項目。

npm install express morgan

然后，在basic.js中添加如下代碼。

var express = require('express'); var app = express(); var morgan = require('morgan'); app.use(morgan('short')); app.use(function(req, res, next){ res.send('ok'); }); app.listen(3000);

node basic.js運行程序，並在瀏覽器里訪問 http://127.0.0.1:3000 ，打印日志如下

➜  2016.12.11-advanced-morgan git:(master) ✗ node basic.js
::ffff:127.0.0.1 - GET / HTTP/1.1 304 - - 3.019 ms
::ffff:127.0.0.1 - GET /favicon.ico HTTP/1.1 200 2 - 0.984 ms

將日志打印到本地文件

morgan支持stream配置項，可以通過它來實現將日志落地的效果，代碼如下：

var express = require('express'); var app = express(); var morgan = require('morgan'); var fs = require('fs'); var path = require('path'); var accessLogStream = fs.createWriteStream(path.join(__dirname, 'access.log'), {flags: 'a'}); app.use(morgan('short', {stream: accessLogStream})); app.use(function(req, res, next){ res.send('ok'); }); app.listen(3000);

使用講解

核心API

morgan的API非常少，使用頻率最高的就是morgan()，作用是返回一個express日志中間件。

morgan(format, options)

參數說明如下：

• format：可選，morgan與定義了幾種日志格式，每種格式都有對應的名稱，比如combined、short等，默認是default。不同格式的差別可參考這里。下文會講解下，如果自定義日志格式。
• options：可選，配置項，包含stream（常用）、skip、immediate。
  • stream：日志的輸出流配置，默認是process.stdout。
  • skip：是否跳過日志記錄，使用方式可以參考這里。
  • immediate：布爾值，默認是false。當為true時，一收到請求，就記錄日志；如果為false，則在請求返回后，再記錄日志。

自定義日志格式

首先搞清楚morgan中的兩個概念：format 跟 token。非常簡單：

• format：日志格式，本質是代表日志格式的字符串，比如 :method :url :status :res[content-length] - :response-time ms。
• token：format的組成部分，比如上面的:method、:url即使所謂的token。

搞清楚format、token的區別后，就可以看下morgan中，關於自定義日志格式的關鍵API。

morgan.format(name, format); // 自定義日志格式 morgan.token(name, fn); // 自定義token

自定義format

非常簡單，首先通過morgan.format()定義名為joke的日志格式，然后通過morgan('joke')調用即可。

var express = require('express'); var app = express(); var morgan = require('morgan'); morgan.format('joke', '[joke] :method :url :status'); app.use(morgan('joke')); app.use(function(req, res, next){ res.send('ok'); }); app.listen(3000);

我們來看下運行結果

➜  2016.12.11-advanced-morgan git:(master) ✗ node morgan.format.js
[joke] GET / 304
[joke] GET /favicon.ico 200

自定義token

代碼如下，通過morgan.token()自定義token，然后將自定義的token，加入自定義的format中即可。

var express = require('express'); var app = express(); var morgan = require('morgan'); // 自定義token morgan.token('from', function(req, res){ return req.query.from || '-'; }); // 自定義format，其中包含自定義的token morgan.format('joke', '[joke] :method :url :status :from'); // 使用自定義的format app.use(morgan('joke')); app.use(function(req, res, next){ res.send('ok'); }); app.listen(3000);

運行程序，並在瀏覽器里先后訪問 http://127.0.0.1:3000/hello?from=app 和 http://127.0.0.1:3000/hello?from=pc

➜  2016.12.11-advanced-morgan git:(master) ✗ node morgan.token.js 
[joke] GET /hello?from=app 200 app
[joke] GET /favicon.ico 304 -
[joke] GET /hello?from=pc 200 pc [joke] GET /favicon.ico 304 -

高級使用

日志切割

一個線上應用，如果所有的日志都落地到同一個本地文件，時間久了，文件會變得非常大，既影響性能，又不便於查看。這時候，就需要用到日志分割了。

借助file-stream-rotator插件，可以輕松完成日志分割的工作。除了file-stream-rotator相關的配置代碼，其余跟之前的例子差不多，這里不贅述。

var FileStreamRotator = require('file-stream-rotator') var express = require('express') var fs = require('fs') var morgan = require('morgan') var path = require('path') var app = express() var logDirectory = path.join(__dirname, 'log') // ensure log directory exists fs.existsSync(logDirectory) || fs.mkdirSync(logDirectory) // create a rotating write stream var accessLogStream = FileStreamRotator.getStream({ date_format: 'YYYYMMDD', filename: path.join(logDirectory, 'access-%DATE%.log'), frequency: 'daily', verbose: false }) // setup the logger app.use(morgan('combined', {stream: accessLogStream})) app.get('/', function (req, res) { res.send('hello, world!') }) 

日志寫入數據庫

有的時候，我們會有這樣的需求，將訪問日志寫入數據庫。這種需求常見於需要實時查詢統計的日志系統。

在morgan里該如何實現呢？從文檔上，並沒有看到適合的擴展接口。於是查閱了下morgan的源碼，發現實現起來非常簡單。

回顧下之前日志寫入本地文件的例子，最關鍵的兩行代碼如下。通過stream指定日志的輸出流。

var accessLogStream = fs.createWriteStream(path.join(__dirname, 'access.log'), {flags: 'a'}); app.use(morgan('short', {stream: accessLogStream}));

在morgan內部，大致實現是這樣的（簡化后）。

// opt為配置文件 var stream = opts.stream || process.stdout; var logString = createLogString(); // 偽代碼，根據format、token的定義，生成日志 stream.write(logString);

於是，可以用比較取巧的方式來實現目的：聲明一個帶write方法的對象，並作為stream配置傳入。

var express = require('express'); var app = express(); var morgan = require('morgan'); // 帶write方法的對象 var dbStream = { write: function(line){ saveToDatabase(line); // 偽代碼，保存到數據庫 } }; // 將 dbStream 作為 stream 配置項的值 app.use(morgan('short', {stream: dbStream})); app.use(function(req, res, next){ res.send('ok'); }); app.listen(3000);

深入剖析

morgan的代碼非常簡潔，從設計上來說，morgan的生命周期包含：

token定義 --> 日志格式定義 -> 日志格式預編譯 --> 請求達到/返回 --> 寫日志

其中，token定義、日志格式定義前面已經講到，這里就只講下 日志格式預編譯 的細節。

跟模板引擎預編譯一樣，日志格式預編譯，也是為了提升性能。源碼如下，最關鍵的代碼就是compile(fmt)。

function getFormatFunction (name) { // lookup format var fmt = morgan[name] || name || morgan.default // return compiled format return typeof fmt !== 'function' ? compile(fmt) : fmt }

compile()方法的實現細節這里不贅述，着重看下compile(fmt)返回的內容：

var morgan = require('morgan'); var format = morgan['tiny']; var fn = morgan.compile(format); console.log(fn.toString());

運行上面程序，輸出內容如下，其中tokens其實就是morgan。

function anonymous(tokens, req, res /**/) { return "" + (tokens["method"](req, res, undefined) || "-") + " " + (tokens["url"](req, res, undefined) || "-") + " " + (tokens["status"](req, res, undefined) || "-") + " " + (tokens["res"](req, res, "content-length") || "-") + " - " + (tokens["response-time"](req, res, undefined) || "-") + " ms"; }

看下morgan.token()的定義，就很清晰了

function token (name, fn) { morgan[name] = fn return this }

相關鏈接

https://github.com/expressjs/morgan