kibana-timelion-QPS案例 - 容器日志收集方案

1.timelion

.es(q='status:200',index=filebeat-testindex*,timefield=@timestamp,metric=count).label('200'),.es(q='status:502',index=filebeat-testindex*,timefield=@timestamp,metric=count).label('502')

2.qps

3.nginx的配置

http {
    include       mime.types;
    default_type  application/octet-stream;
    server_tokens off;

   log_format json  '{"@timestamp":"$time_iso8601",'

                '"@version":"1",'

                '"server_addr":"$server_addr",'

                '"remote_addr":"$remote_addr",'

                '"host":"$host",'

                '"uri":"$uri",'

                '"body_bytes_sent":$body_bytes_sent,'

                '"bytes_sent":$body_bytes_sent,'

                '"upstream_response_time":$upstream_response_time,'

                '"request":"$request",'

                '"request_length":$request_length,'

                '"request_time":$request_time,'

                '"status":"$status",'

                '"http_referer":"$http_referer",'

                '"http_x_forwarded_for":"$http_x_forwarded_for",'

                '"http_user_agent":"$http_user_agent"'

                '}';

 4. 容器日志收集方案： http://www.xuyasong.com/?p=1921#i-8

容器日志與事件
本文主要是 Prometheus 監控內容, 這里只簡單介紹下 K8S 中的日志、事件處理方案，以及和 Prometheus 的搭配。

日志處理：

日志采集與推送：一般是Fluentd/Fluent-Bit/Filebeat等采集推送到 ES、對象存儲、kafaka，日志就該交給專業的 EFK 來做，分為容器標准輸出、容器內日志。
日志解析轉 metric：可以提取一些日志轉為 Prometheus 格式的指標，如解析特定字符串出現次數，解析 Nginx 日志得到 QPS 、請求延遲等。常用方案是 mtail 或者 grok
日志采集方案：

sidecar 方式：和業務容器共享日志目錄，由 sidecar 完成日志推送，一般用於多租戶場景。
daemonset 方式：機器上運行采集進程，統一推送出去。