051.Kubernetes集群管理-日志管理

一 統一日志管理

1.1 日志管理

在Kubernetes集群環境中，一個完整的應用或服務都會涉及為數眾多的組件運行，各組件所在的Node及實例數量都是可變的。日志子系統如果不做集中化管理，則會給系統的運維支撐造成很大的困難，因此建議在集群層面對日志進行統一收集和檢索等工作。

在容器中輸出到控制台的日志，都會以*-json.log的命名方式保存在/var/lib/docker/containers/目錄下。

Kubernetes推薦采用Fluentd+Elasticsearch+Kibana完成對系統和容器日志的采集、查詢和展現工作。

部署統一的日志管理系統，需要以下兩個前提條件。

• API Server正確配置了CA證書。
• DNS服務啟動、運行。

1.2 EFK簡介

Kubernetes 開發了一個 Elasticsearch 附加組件來實現集群的日志管理。這是一個 Elasticsearch、Fluentd 和 Kibana 的組合。

• Elasticsearch 是一個搜索引擎，負責存儲日志並提供查詢接口；
• Fluentd 負責從 Kubernetes 搜集日志，每個node節點上面的fluentd監控並收集該節點上面的系統日志，並將處理過后的日志信息發送給Elasticsearch；
• Kibana 提供了一個 Web GUI，用戶可以瀏覽和搜索存儲在 Elasticsearch 中的日志。

通過在每台node上部署一個以DaemonSet方式運行的fluentd來收集每台node上的日志。Fluentd將docker日志目錄/var/lib/docker/containers和/var/log目錄掛載到Pod中，然后Pod會在node節點的/var/log/pods目錄中創建新的目錄，可以區別不同的容器日志輸出，該目錄下有一個日志文件鏈接到/var/lib/docker/contianers目錄下的容器日志輸出。

在各Node上都運行了一個Fluentd容器，采集本節點/var/log和/var/lib/docker/containers兩個目錄下的日志進程，將其匯總到Elasticsearch集群，最終通過Kibana完成和用戶的交互工作。因此Fluentd必須在每個Node上運行。為了滿足這一需求，可通過以下幾種方式部署Fluentd。

• 直接在Node主機上部署Fluentd。
• 利用kubelet的--config參數， 為每個Node都加載Fluentd Pod。
• 利用DaemonSet讓Fluentd Pod在每個Node上運行。

二 EFK部署

2.1 獲取EFK yaml

lasticsearch 附加組件本身會作為 Kubernetes 的應用在集群里運行，其 YAML 配置文件可從kubernetes官方github倉庫獲取：

https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch

[root@k8smaster01 ~]# mkdir efk

[root@k8smaster01 ~]# cd efk

[root@k8smaster01 efk]# ll *.yaml

2.2 修改鏡像

對於部分鏡像，建議通過修改鏡像從國內源進行下載，國內相關源參考：

[root@k8smaster01 efk]# sed -i "s/quay.io/quay.azk8s.cn/g" `grep quay.io -rl ./*`

提示：國內相關源參考：https://blog.csdn.net/networken/article/details/84571373。

2.3 部署Elasticsearch

[root@k8smaster01 efk]# vi es-statefulset.yaml

……
        resources:
          # need more cpu upon initialization, therefore burstable class
          limits:
            cpu: 1000m
            memory: 600Mi			#建議將內存調小，避免Node節點資源不夠
          requests:
            cpu: 100m
            memory: 600Mi			#建議將內存調小，避免Node節點資源不夠
……

[root@k8smaster01 efk]# kubectl create -f es-statefulset.yaml

2.4 部署Elasticsearch SVC

[root@k8smaster01 efk]# kubectl create -f es-service.yaml

2.5 部署fluentd

[root@k8smaster01 efk]# kubectl create -f fluentd-es-configmap.yaml #創建fluentd ConfigMap

[root@k8smaster01 efk]# kubectl create -f fluentd-es-ds.yaml #部署fluentd

2.6 部署Kibana

[root@k8smaster01 efk]# vi kibana-deployment.yaml

……
        env:
          - name: ELASTICSEARCH_HOSTS
            value: http://elasticsearch-logging:9200
#          - name: SERVER_NAME
#            value: kibana-logging
#          - name: SERVER_BASEPATH
#            value: /api/v1/namespaces/kube-system/services/kibana-logging/proxy
#          - name: SERVER_REWRITEBASEPATH
#            value: "false"
……

提示：kibana使用Nodeport之后，若直接使用Nodeport連接，會報404 status 錯誤，因為啟動參數中添加了server.basePath，那么一般是需要在前端做一個反向代理來重定向。因此在kibana的yaml文件中刪除SERVER_BASEPATH該環境變量后，才可以正常訪問。

[root@k8smaster01 efk]# kubectl create -f kibana-deployment.yaml

2.7 部署Kibana SVC

[root@k8smaster01 efk]# vi kibana-service.yaml

apiVersion: v1
kind: Service
metadata:
  name: kibana-logging
  namespace: kube-system
  labels:
    k8s-app: kibana-logging
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
    kubernetes.io/name: "Kibana"
spec:
  type: NodePort              #模式為NodePort
  ports:
  - port: 5601
    protocol: TCP
    targetPort: ui
  selector:
    k8s-app: kibana-logging

[root@k8smaster01 efk]# kubectl create -f kibana-service.yaml

2.8 查看資源

[root@k8smaster01 efk]# kubectl get pods -n kube-system -o wide | grep -E 'NAME|elasticsearch|fluentd|kibana'

[root@k8smaster01 efk]# kubectl get svc -n kube-system -o wide | grep -E 'NAME|kibana' #查看保留的SVC

NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR

kibana-logging NodePort 10.105.239.129 <none> 5601:30008/TCP 2m59s k8s-app=kibana-logging

2.9 測試訪問

瀏覽器直接訪問：http://172.24.8.71:30008/

嘗試查找error關鍵字日志。