在 KubeSphere 中使用 APISIX Ingress 網關接入自定義監控

KubeSphere 3.2.0 發布了！為項目網關增配了整套監控及管理頁面，同時引入了集群網關來提供集群層面全局的 Ingress 網關能力。當然，我們還是可以部署使用第三方 Ingress Controller，本文將以 Apache APISIX Ingress Controller 為例介紹如何通過 KubeSphere 快速為 Kubernetes 集群使用兩種不同類型的網關，同時對它們的使用狀態進行監控。

本文將分為一下幾部分展開：

• KubeSphere 項目網關的新管理界面的應用展示
• 通過 KubeSphere 的應用管理能力快速使用 Apache APISIX Ingress Controller
• 利用 KubeSphere 的自定義監控能力獲取 Apache APISIX 網關的運行指標

准備工作

安裝 KubeSphere

安裝 KubeSphere 有兩種方法。一是在 Linux 上直接安裝，可以參考文檔：在 Linux 安裝 KubeSphere； 二是在已有 Kubernetes 中安裝，可以參考文檔：在 Kubernetes 安裝 KubeSphere。

KubeSphere 最小化安裝版本已經包含了監控模塊，因此不需要額外啟用，可以通過「系統組件」頁面中的「監控」標簽頁確認安裝狀態。

部署 httpbin 演示應用

由於需要演示網關的訪問控制能力，我們必須要先有一個可以訪問的應用作為網關的后台服務。這里我們使用 httpbin.org 提供的 kennethreitz/httpbin 容器應用作為演示應用。

在 KubeSphere 中，我們可以先創建新的項目或使用已有的項目，進入項目頁面后，選擇「應用負載」下的「服務」直接創建無狀態工作負載並生成配套的服務。

使用 kennethreitz/httpbin 容器默認的 80 端口作為服務端口，創建完成后確保在「工作負載」和「服務」頁面下都可以看到 httpbin 的對應條目，如下圖所示。

項目網關的新面貌

項目網關 是 KubeSphere 3.0 以來就有的功能：“KubeSphere 項目中的網關是一個 NGINX Ingress 控制器。KubeSphere 內置的用於 HTTP 負載均衡的機制稱為 應用路由，它定義了從外部到集群服務的連接規則。如需允許從外部訪問服務，用戶可創建路由資源來定義 URI 路徑、后端服務名稱等信息。”

下面我們首先進入已部署了 httpbin 服務的項目，在「項目設置」中打開「網關設置」頁面，然后執行「開啟網關」操作。方便起見，直接選擇 NodePort 作為「訪問方式」即可。

確定后回到網關頁面，稍等片刻后刷新頁面，可以得到如下圖這樣的部署完成狀態，可以看到 NodePort 默認被賦予了兩個節點端口。下面我們通過右上角的「管理」按鈕「查看詳情」。

此時我們看到的便是 3.2.0 新帶來的項目/集群網關的新監控頁面！但是現在顯然是沒有數據的，因為我們還沒有任何流量從網關產生。那么下面我們就需要為 httpbin 服務創建應用路由。

從「應用負載」進入「應用路由」頁面，開始「創建」路由。為路由取名為 httpbin 后，我們指定一個方便測試的域名，並設置「路徑」為 /, 選擇「服務」httpbin 和「端口」80。

直接下一步跳過高級設置后完成路由創建，可以得到如下圖這樣的一條新的 httpbin 應用路由項。

下面我們可以通過項目網關的 NodePort 地址及指定的域名（如這里是 http://httpbin.ui:32516）來訪問 httpbin 應用服務，隨意刷新或操作一下頁面的請求生成功能，再進入網關的詳情頁面，便可以看到在「監控」面板上已經出現了網關的一些內置的監控指標展示。

為網關指定 NodePort 節點端口

對於公有雲環境，如果使用 NodePort 方式向外暴露訪問能力，開放端口通常是有限且受控的，因此對於網關所使用的 NodePort 我們需要能夠對它進行修改。

由於網關是被 KubeSphere 統一管理的，要修改網關服務的 NodePort，需要具備訪問 kubesphere-controls-system 項目的權限。進入改項目后，通過「應用負載」的「服務」頁面即可找到命名為 kubesphere-router-<project-namespace> 形式且外部訪問已開放 NodePort 的網關服務。NodePort 服務端口需要通過「編輯 YAML」來直接修改。

開始使用集群網關

在 KubeSphere 3.1 中只支持項目級別的網關，如果用戶的項目過多，勢必會造成資源的浪費。而且不同的企業空間中的網關都是相互獨立的。

KubeSphere 3.2.0 開始支持集群級別的全局網關，所有項目可共用同一個網關，之前已創建的項目網關也不會受到集群網關的影響。也可以統一納管所有項目的網關，對其進行集中管理和配置，管理員用戶再也不需要切換到不同的企業空間中去配置網關了。

進入 KubeSphere 3.2.0 版本之后，我們更推薦大家使用集群網關的功能來統一整個集群的應用路由。要啟用集群網關其實也非常簡單：使用具備集群管理權限的賬號，進入其可管理的某個集群（如我們這里以 default 集群為例），在「集群設置」的「網關設置」中即可「開啟網關」，同時查看「項目網關」。

集群網關開啟的方式以及對齊 NodePort 訪問端口的修改和之前項目網關的操作基本上是完全一樣的，所以這里對過程就不做過多贅述了。

⚠️ 有一點需要特別注意的是：集群網關開啟后，已經開啟的項目網關還會保留；但尚未創建網關的項目是無法再創建單獨的網關的，會直接使用集群網關。

下圖展示了已創建網關的項目，在同時擁有項目及集群網關后，在「網關設置」頁面所呈現的所有網關概覽。

快速使用 Apache APISIX Ingress Controller

Apache APISIX 是一款開源的高性能、動態雲原生網關，由深圳支流科技有限公司於 2019 年捐贈給 Apache 基金會，當前已經成為 Apache 基金會的頂級開源項目，也是 GitHub 上最活躍的網關項目。Apache APISIX 當前已經覆蓋了 API 網關，LB，Kubernetes Ingress，Service Mesh 等多種場景。

社區之前也介紹過如何 使用 Apache APISIX 作為 Kubernetes 的 Ingress Controller，本文講更多側重介紹前文未涉及之細節，並結合 KubeSphere 的一些新功能加以具像化。

部署 Apache APISIX Ingress Controller

首先還是先要添加 Apache APISIX Helm Chart 倉庫，推薦用這種自管理的方式來保障倉庫內容是得到及時同步的。我們選定一個企業空間后，通過「應用管理」下面的「應用倉庫」來添加如下一個 Apache APISIX 的倉庫（倉庫 URL：https://charts.apiseven.com）。

接下來我們創建一個名為 apisix-system 的項目。進入項目頁面后，選擇在「應用負載」中創建「應用」的方式來部署 Apache APISIX，並選擇 apisix 應用模版開始進行部署。

為何是部署 Apache APISIX 應用的 Helm Chart，而不是直接部署 Apache APISIX Ingress Controller?

這是因為 Apache APISIX Ingress Controller 目前和 Apache APISIX 網關是強關聯的（如下圖所示），且目前通過 Apache APISIX Helm Charts 同時部署 Apache APISIX Gateway + Dashboard + Ingress Controller 是最方便的，因此本文推薦直接使用 Apache APISIX 的 Helm Chart 進行整套組件的部署。

將應用命名為 apisix 以避免多個組件（Gateway, Dashboard, Ingress Controller）的工作負載及服務名稱產生不匹配的情況；在安裝步驟中編輯的「應用設置」的部分，請參照以下配置進行填寫（請特別注意帶有【注意】標記的注釋部分的說明，其余可以按需自行編輯修改）。

global:
  imagePullSecrets: []
  
apisix:
  enabled: true
  customLuaSharedDicts: []
  image:
    repository: apache/apisix
    pullPolicy: IfNotPresent
    tag: 2.10.1-alpine
  replicaCount: 1
  podAnnotations: {}
  podSecurityContext: {}
  securityContext: {}
  resources: {}
  nodeSelector: {}
  tolerations: []
  affinity: {}
  podAntiAffinity:
    enabled: false
    
nameOverride: ''
fullnameOverride: ''

gateway:
  type: NodePort
  externalTrafficPolicy: Cluster
  http:
    enabled: true
    servicePort: 80
    containerPort: 9080
  tls:
    enabled: false
    servicePort: 443
    containerPort: 9443
    existingCASecret: ''
    certCAFilename: ''
    http2:
      enabled: true
  stream:
    enabled: false
    only: false
    tcp: []
    udp: []
  ingress:
    enabled: false
    annotations: {}
    hosts:
      - host: apisix.local
        paths: []
    tls: []
    
admin:
  enabled: true
  type: ClusterIP
  externalIPs: []
  port: 9180
  servicePort: 9180
  cors: true
  credentials:
    admin: edd1c9f034335f136f87ad84b625c8f1
    viewer: 4054f7cf07e344346cd3f287985e76a2
  allow:
    ipList:
      - 0.0.0.0/0
      
plugins:
  - api-breaker
  - authz-keycloak
  - basic-auth
  - batch-requests
  - consumer-restriction
  - cors
  - echo
  - fault-injection
  - grpc-transcode
  - hmac-auth
  - http-logger
  - ip-restriction
  - ua-restriction
  - jwt-auth
  - kafka-logger
  - key-auth
  - limit-conn
  - limit-count
  - limit-req
  - node-status
  - openid-connect
  - authz-casbin
  - prometheus
  - proxy-cache
  - proxy-mirror
  - proxy-rewrite
  - redirect
  - referer-restriction
  - request-id
  - request-validation
  - response-rewrite
  - serverless-post-function
  - serverless-pre-function
  - sls-logger
  - syslog
  - tcp-logger
  - udp-logger
  - uri-blocker
  - wolf-rbac
  - zipkin
  - traffic-split
  - gzip
  - real-ip
  #【注意】添加此插件以配合 Dashboard 展示服務信息
  - server-info

stream_plugins:
  - mqtt-proxy
  - ip-restriction
  - limit-conn

customPlugins:
  enabled: true
  luaPath: /opts/custom_plugins/?.lua
  #【注意】如下配置保障 Prometheus 插件可對外暴露指標
  plugins:
  	- name: prometheus
    	attrs:
      	export_addr:
        	ip: 0.0.0.0
          port: 9091
      configMap:
      	name: prometheus
        mounts: []

dns:
  resolvers:
    - 127.0.0.1
    - 172.20.0.10
    - 114.114.114.114
    - 223.5.5.5
    - 1.1.1.1
    - 8.8.8.8
  validity: 30
  timeout: 5

autoscaling:
  enabled: false
  minReplicas: 1
  maxReplicas: 100
  targetCPUUtilizationPercentage: 80
  targetMemoryUtilizationPercentage: 80

configurationSnippet:
  main: ''
  httpStart: ''
  httpEnd: ''
  httpSrv: ''
  httpAdmin: ''
  stream: ''

etcd:
  enabled: true
  host:
    - 'http://etcd.host:2379'
  prefix: /apisix
  timeout: 30
  auth:
    rbac:
      enabled: false
      user: ''
      password: ''
    tls:
      enabled: false
      existingSecret: ''
      certFilename: ''
      certKeyFilename: ''
      verify: true
  service:
    port: 2379
  replicaCount: 3

dashboard:
  enabled: true
  #【注意】為 Dashboard 開啟 NodePort 方便后續使用
  service:
  	type: NodePort

ingress-controller:
  enabled: true
  config:
    apisix:
    	#【注意】一定要設置 gateway 所在的 namespace
      serviceNamespace: apisix-system
  serviceMonitor:
    enabled: true
    namespace: 'apisix-system'
    interval: 15s

部署成功后，點擊應用名稱進入詳情頁面，可以在「資源狀態」標簽頁下看到如下的服務部署和工作狀態運行狀態展示。

💡 Apache APISIX 項目另有的兩個 Helm Chart 對應的默認配置參數可以分別參考：Dashboard 和 Ingress Controller 的 values.yaml。

使用 Apache APISIX Dashboard 了解系統信息

Apache APISIX 應用部署完成后，首先我們通過 Apache APISIX Dashboard 來檢驗一下 Apache APISIX 網關的當前狀態。從「應用負載」的「服務」頁面，我們可以找到 apisix-dashboard 的服務，由於我們在應用配置中已經為 Dashboard 開啟了 NodePort，所以這里我們可以直接通過 NodePort 端口來訪問 Dashboard。

使用默認的用戶名及密碼 admin 登錄 Apache APISIX Dashboard，可以進入「系統信息」頁面即可查看到我們當前連接管理的「Apache APISIX 節點」的信息。

使用 Apache APISIX Ingress Controller

讓我們回到「應用路由」頁面，另外新建一個路由（如 apisix-httpbin），設置路徑為 /* httpbin 80 並為其添加 kubernetes.io/ingress.class: apisix 的鍵值。

創建完成后如何驗證應用路由生效呢？首先，我們可以回到 Apache APISIX Dashboard，進入「路由」頁面，可以看到新建的應用路由已經被 Apache APISIX Ingress Controller 識別之后自動添加到了 Apache APISIX 網關中，在「上游」頁面也可以看到自動創建的一個上游條目。

然后我們回到 apisix-system 項目的「服務」頁面，找到 apisix-gateway 服務對應的端口，由此訪問 <apisix-httpbin 應用路由指定的域名>:<apisix-gateway 外部訪問端口>（例如此處為 httpbin.ui:30408）即可訪問到 apisix-httpbin 應用路由所關聯的后台服務。

自定義監控 Apache APISIX 網關

Apache APISIX 網關可用之后其實是缺少像原生集群或項目網關這樣自帶的狀態監控能力的，但這個我們也可以通過 Apache APISIX 的 Prometheus 插件以及 KubeSphere 自帶的自定義監控能力來彌補。

暴露 Apache APISIX 網關的 Prometheus 監控指標

由於我們在部署 Apache APISIX 應用時已經開啟了 Prometheus 插件，所以這里我們只需要把 Prometheus 監控指標的接口暴露出來即可。進入 apisix-system 項目，在「工作負載」頁面找到 apisix 並進入部署詳情頁面，隨后在左側操作面板的「更多操作」中選擇「編輯設置」。

在彈出的「編輯設置」面板中，進入到 apisix 容器的編輯界面，找到「端口設置」，添加一個新的名為 prom 的端口映射到容器的 9091 端口，保存后 apisix 工作負載會重啟。

為 Apache APISIX 網關監控指標創建 ServiceMonitor

下面我們需要將已暴露的指標接口接入到 KubeSphere 自帶的 Prometheus 中使之可被訪問（被抓取指標數據），由於 KubeSphere 是通過 Prometheus Operator 來維護內部的 Prometheus 系統的，所以最方便的方式自然是直接創建一個 ServiceMonitor 資源來實現指標接口的接入。

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: apisix
  namespace: apisix-system
spec:
  endpoints:
    - scheme: http
    	#【注意】使用上一步中工作負載暴露的容器端口名稱
    	targetPort: prom
    	#【注意】需要正確綁定 apisix 對應的指標接口路徑
    	path: /apisix/prometheus/metrics
      interval: 15s
  namespaceSelector:
    matchNames:
      - apisix-system
  selector:
    matchLabels:
      app.kubernetes.io/name: apisix
      app.kubernetes.io/version: 2.10.0
      helm.sh/chart: apisix-0.7.2

使用 kubectl apply -f your_service_monitor.yaml 創建這個 ServiceMonitor 資源。創建成功后，如果有集群管理權限，也可以在集群的 CRD 管理頁面中搜索查看 ServiceMonitor 資源並找到名為 apisix 的自定義資源，也可以在這里做后續的 YAML 修改。

將 Apache APISIX 網關指標接入自定義監控面板

下面我們在項目左側菜單列表中找到「監控告警」中的「自定義監控」，開始「創建」自定義監控面板。

在彈出窗口中填入「名稱」，選擇「自定義」監控模版，並進入「下一步」的監控面板創建。

進入編輯頁面后現在左側點擊 + 區域，在右側的「數據」區域進行 Prometheus 監控指標的配置，例如這里我們可以用 sum(apisix_nginx_http_current_connections) 來統計 Apache APISIX 網關實時的連接總數。

保存后在頁面右下角找到「+ 添加監控項」，我們選擇「折線圖」來創建一個 Nginx connection state 指標：使用 sum(apisix_nginx_http_current_connections) by (state) 作為指標、{{state}} 用作圖例名稱、選擇「圖例類型」為堆疊圖，即可得到類似如下的圖表顯示效果。保存模版后即可得到您的第一個自定義監控面板！

Apache APISIX 網關目前提供的 Prometheus 指標可以參見官方文檔的 可有的指標 部分。

由於指標配置起來還是比較麻煩的，推薦在集群層面的「自定義監控」中直接導入 Apache APISIX Grafana 模版（下載 JSON 通過「本地上傳」進行導入）。

創建完成后可以直接得到一個非常豐富的 Apache APISIX 網關監控面板。KubeSphere 也同時在 積極推進 將 Grafana 模版導入的功能引入到項目的自定義監控能力中去，敬請期待！

至此，我們了解了 KubeSphere 3.2.0 中新的項目及集群網關的更豐富的狀態信息展示能力；同時也完成了 Apache APISIX Ingress 網關接入 KubeSphere 並對其使用自定義監控。讓我們開啟 KubeSphere 應用網關的奇妙旅程吧～

本文由博客一文多發平台 OpenWrite 發布！