對於分布式系統服務，一個請求需要系統中多個模塊，上百台機器配合才能完成。當進行系統調優時單靠分析日志是很難發現到系能瓶頸的，效率非常低下，為此google上線了分布式服務追蹤系統Drapper。目前市面上的實現有Twitter的zipkin和阿里的鷹眼系統。最近我在做服務追蹤，我們后台使用golang開發，grpc做服務通信，最終選擇集成zipkin來做，這個公開資料比較少，寫文章來總結一下，方便后來者。
一、首先zipkin的安裝使用
1、下載
wget -O zipkin.jar 'https://search.maven.org/remote_content?g=io.zipkin.java&a=zipkin-server&v=LATEST&c=exec'
2、運行
java -jar zipkin.jar
3、在瀏覽器查看
http://localhost:9411 9411是zipkin默認端口
4、效果圖如下：
對三個模塊間的grpc通信做了追蹤，請求的調用路徑是這樣的client---》server---》cache，從上面的圖可以清楚看到每個模塊出來花了多少時間。
二、例子的代碼大概說明，以server為例，因為這個模塊既包含server端也包含client端
代碼可以在github上下載，路徑：https://github.com/chukuang2004/gotest/tree/master/zipkin
使用到的第三方庫有這三個
github.com/opentracing/opentracing-go
github.com/openzipkin/zipkin-go-opentracing
github.com/grpc-ecosystem/grpc-opentracing/go/otgrpc
1、server響應代碼
func main() {
collector, err := zipkin.NewHTTPCollector("http://localhost:9411/api/v1/spans")
if err != nil {
log.Fatal(err)
return
}
tracer, err := zipkin.NewTracer(
zipkin.NewRecorder(collector, false, "localhost:0", "grpc_server"),
zipkin.ClientServerSameSpan(true),
zipkin.TraceID128Bit(true),
)
if err != nil {
log.Fatal(err)
return
}
opentracing.InitGlobalTracer(tracer)
lis, err := net.Listen("tcp", port)
if err != nil {
log.Fatalf("failed to listen: %v", err)
}
s := grpc.NewServer(grpc.UnaryInterceptor(otgrpc.OpenTracingServerInterceptor(tracer, otgrpc.LogPayloads())))
pb.RegisterAddServer(s, &AddServer{})
s.Serve(lis)
}
2、請求cache的代碼，這個要注意的是新的請求使用的tracer和context要與之前的server的保持一致，這里面保存了一個調研鏈路里全劇唯一的tracerid
func (s *AddServer) DoAdd(ctx context.Context, in *pb.AddRequest) (*pb.AddReply, error) {
log.Printf("input %d %d", in.GetNum1(), in.GetNum2())
time.Sleep(time.Duration(10) * time.Millisecond)
tracer := opentracing.GlobalTracer()
val := cache.GetCache(ctx, tracer, in.GetNum1())
log.Printf("cache value %d", val)
return &pb.AddReply{Result: val + in.GetNum2()}, nil
}
func GetCache(ctx context.Context, tracer opentracing.Tracer, id int32) int32 {
conn, err := grpc.Dial(address, grpc.WithInsecure(), grpc.WithUnaryInterceptor(otgrpc.OpenTracingClientInterceptor(tracer)))
if err != nil {
log.Fatalf("did not connect: %v", err)
}
defer conn.Close()
c := pb.NewCacheClient(conn)
// Contact the server and print out its response.
r, err := c.Get(ctx, &pb.CacheRequest{Id: id})
if err != nil {
log.Fatalf("could not greet: %v", err)
return -1
}
return r.GetResult()
}
3、寫的比較簡單，因為細節太多，在一篇博客里沒法一一說明，我懶癌復發了，但是把我的例子修改調試着感受一下，再看看三個庫的文檔，google drapper的論文基本也就明白了，推薦看一下這篇文章，他們貌似自己做了一套tracer，沒有用開源的，當然也歡迎找我討論。
http://www.cnblogs.com/zhengyun_ustc/p/55solution2.html