背景
一个简单的代理程序，发现单核QPS达到2万/s左右就上不去了，40%的CPU消耗在pb的decode/encode上面。
于是我想，对于特定的场景，直接从[]byte中取出字段，而不用完全的把整个结构在内存展开，岂不是要快很多。
so, 温习了一些PB二进制格式的知识。
pb的二进制格式：
参考的文章有：
几个关键点总结如下：
- 5 bit的 field index
- 3 bit的wire type
- wire type的定义如下：google.golang.org/protobuf/encoding/protowire/wire.go
const (
VarintType Type = 0 //int , float等全在这里
Fixed32Type Type = 5
Fixed64Type Type = 1
BytesType Type = 2 //字符串，或者嵌套的子类型
StartGroupType Type = 3 //废弃
EndGroupType Type = 4 //废弃
// Map 类型呢 ？
)
- 如果wire type 是 2, 则后续紧接着是长度信息
- bit 0 开头，说明用一个字节表示长度
- bit 10开头，说明2个字节表示长度
- bit 110开头，说明3个字节表示长度
- 以此类推……
- 如果wire type是 1或5，则很简单，后续的4字节或8字节是值
- 这个值被理解成int / uint / float等，就要看元数据的定义了
- 如果wire type 是 0，这里非常复杂
- 如果以 bit 0开头，只有 7 bit 表示值
- 如果以bit 10开头，后续的 14 bit 表示值
- 如果以bit 110开头，后续的 21 bit表示值
- 以此类推
- 值的内容以 Zigzag 编码 来表示
- 注意：二进制格式中唯一的元数据就是field index，除此之外不包含任何元数据信息。需要靠额外的元数据信息来指导如何decode这些二进制数据。
实操
PB二进制生成的代码：
import (
"github.com/golang/protobuf/proto"
"github.com/prometheus/prometheus/prompb"
"google.golang.org/protobuf/encoding/protowire"
)
func Test_make_pb(t *testing.T){
wr := &prompb.WriteRequest{
Timeseries: []prompb.TimeSeries{
{
Labels: []prompb.Label{
{
Name: "__name__",
Value: "test_metric_1",
},
{
Name: "job",
Value: "test1",
},
},
Samples: []prompb.Sample{
{
Value: 123.456,
Timestamp: int64(time.Now().UnixNano()) / 1000000,
},
},
},
},
Metadata: nil,
}
t.Logf("%s", wr.String())
buf, _ := proto.Marshal(wr)
t.Logf("\n%s\nlen=%d",
stringutil.HexFormat(buf), len(buf))
}
pb对应的二进制数据为：
0a 3b 0a 19 0a 08 5f 5f 6e 61 6d 65 5f 5f 12 0d | ; __name__
74 65 73 74 5f 6d 65 74 72 69 63 5f 31 0a 0c 0a | test_metric_1
03 6a 6f 62 12 05 74 65 73 74 31 12 10 09 77 be | job test1 w
9f 1a 2f dd 5e 40 10 a7 c6 90 f9 bd 2f | / ^@ /
假设我以JSON来描述上面的结构：
{
"id" :1,
"wire_type":2,
"body_len" : 55,
"child":[
{
"id" :1,
"wire_type":2,
"idx": 0,
"body_len" : 25,
"child":[
{
"id" :1,
"wire_type":2,
"body_len" : 8,
"value": "__name__",
},
{
"id":2,
"wire_type":2,
"body_len" : 13,
"value": "test_metric_1",
}
],
},
{
"id" : 1, //这个理解为属于第一组。这个节点和上个节点的ID都是1，因此反推出这两个节点属于repeated类型
"body_len" : 12,
"idx": 1,
"child":[
{
"id":1,
"body_len" : 3,
"value":"job"
},
{
"id":2,
"body_len" : 5,
"value":"test1"
},
]
},
{
"id": 2,
"wire_type":2,
"idx": 2,
"body_len": 12,
"child":[
{
"id":1,
"wire_type": 1, //64bit, float64
"value":"\x77\xbe\x9f\x1a\x2f\xdd\x5e\x40", //123.456
},
{
"id":2,
"wire_type":0, //timestamp
"value": "\xa7\xc6\x90\xf9\xbd\x2f"
}
]
}
]
}
后续打算基于PB的底层库来实现更高效率更少内存（但是非常非常难用）的库！