golang json性能分析詳解


原文地址:https://www.jb51.net/article/135264.htm

json格式可以算我們日常最常用的序列化格式之一了,Go語言作為一個由Google開發,號稱互聯網的C語言的語言,自然也對JSON格式支持很好。下面這篇文章主要給大家詳細分析介紹了golang json性能的相關資料,需要的朋友可以參考下。

前言

眾所周知Json 作為一種重要的數據格式,具有良好的可讀性以及自描述性,廣泛地應用在各種數據傳輸場景中。Go 語言里面原生支持了這種數據格式的序列化以及反序列化,內部使用反射機制實現,性能有點差,在高度依賴 json 解析的應用里,往往會成為性能瓶頸,好在已有很多第三方庫幫我們解決了這個問題,但是這么多庫,對於像我這種有選擇困難症的人來說,到底要怎么選擇呢,下面就給大家來一一分析一下

ffjson

1

go get -u github.com/pquerna/ffjson

原生的庫性能比較差的主要原因是使用了很多反射的機制,為了解決這個問題,ffjson 通過預編譯生成代碼,類型的判斷在預編譯階段已經確定,避免了在運行時的反射

但也因此在編譯前需要多一個步驟,需要先生成 ffjson 代碼,生成代碼只需要執行 ffjson <file.go> 就可以了,其中 file.go 是一個包含 json 結構體定義的 go 文件。注意這里 ffjson 是這個庫提供的一個代碼生成工具,直接執行上面的 go get 會把這個工具安裝在 $GOPATH/bin 目錄下,把 $GOPATH/bin 加到 $PATH 環境變量里面,可以全局訪問

另外,如果有些結構,不想讓 ffjson 生成代碼,可以通過增加注釋的方式

1

2

3

4

5

6

7

8

// ffjson: skip

type Foo struct {

 Bar string

}

// ffjson: nodecoder

type Foo struct {

 Bar string

}

easyjson

1

go get -u github.com/mailru/easyjson/...

easyjson 的思想和 ffjson 是一致的,都是增加一個預編譯的過程,預先生成對應結構的序列化反序列化代碼,除此之外,easyjson 還放棄了一些原生庫里面支持的一些不必要的特性,比如:key 類型聲明,key 大小寫不敏感等等,以達到更高的性能

生成代碼執行 easyjson -all <file.go> 即可,如果不指定 -all 參數,只會對帶有 //easyjson:json 的結構生成代碼

1

2

3

4

//easyjson:json

type A struct {

 Bar string

}

jsoniter

1

go get -u github.com/json-iterator/go

這是一個很神奇的庫,滴滴開發的,不像 easyjson 和 ffjson 都使用了預編譯,而且 100% 兼容原生庫,但是性能超級好,也不知道怎么實現的,如果有人知道的話,可以告訴我一下嗎?

2018-1-28日更新,來自官方(@taowen)的回復:

沒啥神奇的。就是預先緩存了對應struct的decoder實例而已。然后unsafe.Pointer省掉了一些interface{}的開銷。還有一些文本解析上的優化

使用上面,你只要把所有的

1

import "encoding/json"

替換成

1

2

import "github.com/json-iterator/go"

var json = jsoniter.ConfigCompatibleWithStandardLibrary

就可以了,其它都不需要動

codec-json

1

go get -u github.com/ugorji/go/codec

這個庫里面其實包含很多內容,json 只是其中的一個功能,比較老,使用起來比較麻煩,性能也不是很好

jsonparser

1

go get -u github.com/buger/jsonparser

嚴格來說,這個庫不屬於 json 序列化的庫,只是提供了一些 json 解析的接口,使用的時候需要自己去設置結構里面的值,事實上,每次調用都需要重新解析 json 對象,性能並不是很好

就像名字暗示的那樣,這個庫只是一個解析庫,並沒有序列化的接口

性能測試

對上面這些 json 庫,作了一些性能測試,測試代碼在:https://github.com/hatlonely/hellogolang/blob/master/internal/json/json_benchmark_test.go,下面是在我的 Macbook 上測試的結果(實際結果和庫的版本以及機器環境有關,建議自己再測試一遍):

1

2

3

4

5

6

7

8

9

10

11

12

13

14

BenchmarkMarshalStdJson-4     1000000   1097 ns/op

BenchmarkMarshalJsonIterator-4    2000000   781 ns/op

BenchmarkMarshalFfjson-4      2000000   941 ns/op

BenchmarkMarshalEasyjson-4     3000000   513 ns/op

BenchmarkMarshalCodecJson-4     1000000   1074 ns/op

BenchmarkMarshalCodecJsonWithBufio-4   1000000   2161 ns/op

BenchmarkUnMarshalStdJson-4     500000   2512 ns/op

BenchmarkUnMarshalJsonIterator-4    2000000   591 ns/op

BenchmarkUnMarshalFfjson-4     1000000   1127 ns/op

BenchmarkUnMarshalEasyjson-4     2000000   608 ns/op

BenchmarkUnMarshalCodecJson-4     20000  122694 ns/op

BenchmarkUnMarshalCodecJsonWithBufio-4  500000   3417 ns/op

BenchmarkUnMarshalJsonparser-4    2000000   877 ns/op

golang_json_performance

從上面的結果可以看出來:

  • easyjson 無論是序列化還是反序列化都是最優的,序列化提升了1倍,反序列化提升了3倍
  • jsoniter 性能也很好,接近於easyjson,關鍵是沒有預編譯過程,100%兼容原生庫
  • ffjson 的序列化提升並不明顯,反序列化提升了1倍
  • codecjson 和原生庫相比,差不太多,甚至更差
  • jsonparser 不太適合這樣的場景,性能提升並不明顯,而且沒有反序列化

所以綜合考慮,建議大家使用 jsoniter,如果追求極致的性能,考慮 easyjson

參考鏈接


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM