0x00 概述
K8S內部署微服務后，對應的日志方案是不落地方案，即微服務的日志不掛在到本地數據卷，所有的微服務日志都采用標准輸入和輸出的方式(stdin/stdout/stderr)存放到管道內，容器日志采用的是json格式。
目前大部分K8S容器日志都采用Fluent或者Fluent-bit，將日志傳輸到ES集群，本文主要講使用Fluent-bit將容器的日志傳輸到Kafka。
0x01 部署Fluent-bit並傳輸到Kafka
詳細請看https://github.com/fluent/fluent-bit-kubernetes-logging
1.1 創建Fluent-bit Daemonset使用的configmap
$ kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/output/kafka/fluent-bit-configmap.yaml
1.2 配置Fluent-bit Daemonset將K8S日志傳輸到Kafka
$ kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/output/kafka/fluent-bit-ds.yaml
0x02 Fluent-bit輸出方向ES和Kafka
https://github.com/fluent/fluent-bit-kubernetes-logging/tree/master/output
0x03 Fluent-bit將K8S日志傳輸到Kafka
https://github.com/fluent/fluent-bit-kubernetes-logging/tree/master/output/kafka
將https://github.com/fluent/fluent-bit-kubernetes-logging/blob/master/output/kafka/fluent-bit-configmap.yaml 文件內的Brokers的value改寫成Kafka的IP加9092端口即可。
例如 10.10.11.32:9092
0x04 日志格式過濾
關於詳細的部署的格式過濾可以參考這篇https://www.jianshu.com/p/1000ae80a493
0x05 總結
多參考官方網站和搜刮github，盡量少使用百度，百度搜索幾乎無解。。。。