使用騰訊雲容器服務玩轉 Nginx Ingress

作者林育新，騰訊雲容器產品工程師。目前主要負責騰訊雲TKE的控制台的相關研發工作。

概述

在開源社區當中，Kubernetes 的 Ingress Controller 的實現有多種方式，Nginx Ingress 只是其中的一種實現方式，當然也是目前社區中使用量最大的一種 Ingress Controller 的實現方式，其不僅功能強大，而且性能極高。本文主要介紹如何使用騰訊雲容器服務實現多種方式進行 Nginx Ingress 的部署，並會簡單介紹各種方式的實現原理以及優缺點和適用場景。

Nginx Ingress 是什么

Nginx Ingress 是 Kubernetes 的一種對象，通過nginx-ingress-controller 將用戶聲明的 nginx-ingress 轉化成 nginx 的轉發規則。其核心解決的問題是流量的轉發和東西向的負載均衡。
主要的工作原理是nginx-ingress-controller監聽api-server的變化（Kubernetes Informers），通過 watch Kubernetes 的 Ingress、Service、Endpoint、Secret、ConfigMap 等對象變化，更改 Nginx 實例的配置，進行流量轉發。

目前社區中，針對於 Nginx Ingress 主要有如下的兩種實現方式

• Kubernetes 開源社區的實現
• Nginx 官方的實現

為什么需要 Nginx Ingress

開源社區當中，對 Ingress Controller 的實現方式有多種，每一種 Controller 都有其適用的場景以及各自的優缺點，為什么推薦使用 nginx-ingress-controller？下面我們來探討一下，如果不使用 nginx-ingress-controller 會給業務帶來什么困擾

這里以騰訊雲容器服務控制台（以下簡稱 TKE）默認推薦的 ingress controller 為例子，存在如下的一些問題：

1. CLB 類型的 Ingress 能力無法滿足現有業務的需求，如無法共享同一個外網入口，支持默認默認轉發后端等
2. 原有業務已使用了 nginx-inrgess，並且運維已習慣於配置 nginx.conf，不希望做過多的改變

使用 nginx-ingress-controller，能夠很好地解決以上的問題。

需要什么前提條件

部署 nginx-ingress-operator

組件部署安裝

進入騰訊雲容器服務控制台當中，選擇需要部署 Nginx Ingress 的集群，進入集群-組件管理當中，部署安裝 Nginx Ingess 組件，如下圖：

組件安裝並且正常運行

部署方案

TKE 提供了多種對於nginx-ingress-controller的部署方案以及接入 LB 的方式，適配不同的業務場景需求，以下會對不同的方案進行介紹。

nginx-ingress-controller 部署方案

方案一： DaemonSet + 節點池

Nginx 作為關鍵的流量接入網關，是至關重要的組件，不建議將 Nginx 與其他業務部署在相同的節點內，可以通過節點池設置污點的方式，進行部署。關於節點池的相關說明，可以查看騰訊雲容器服務節點池概述。

使用此部署方案，應該注意如下幾個事項：

• 提前准備好部署 nginx-ingress-controller 的節點池，同時設置節點池的污點 Taint 和 Label，防止其他 Pod 調度到該節點池。

• 確保已成功部署安裝好 nginx-ingress-operator 組件，部署方式參考上方指引

• 進入組件詳情，創建

  nginx-ingress-controller
  

  實例（單一集群內可同時存在多個實例）

  • 部署方式選擇 指定節點池DaemonSet部署
  • 設置容忍污點
  • 設置 Request/Limit，其中 Request 需設置比節點池的機型配置小（節點本身有資源預留，避免實例因資源不足而不可用），Limit 可不設置
  • 其他參數根據業務需要進行設置即可

方案二：Deployment + HPA

使用 Deployment + HPA 的方案進行部署，您可以根據業務需要配置污點和容忍，將 Nginx 和業務 Pod 進行分散部署。搭配 HPA，設置 CPU/內存等指標進行彈性伸縮。

使用此部署方案，應該注意如下幾個事項：

• 在集群中設置即將部署 nginx-ingress-controller 的節點的 Label

• 確保已成功部署安裝好 nginx-ingress-operator 組件，部署方式參考上方指引。

• 進入組件詳情，創建

  nginx-ingress-controller
  

  實例（單一集群內可同時存在多個實例）

  • 部署方式選擇 自定義Deployment+HPA部署
  • 設置 HPA 觸發策略
  • 設置 Request/Limit
  • 設置節點調度策略，推薦 nginx-ingress-controller 獨占節點，避免其他業務資源侵占而導致不可用
  • 其他參數根據業務需要進行設置即可

Nginx 前端接入 LB 的部署方式

上文介紹了在 TKE 的集群當中部署 nginx-ingress-operator 和 nginx-ingress-controller 的使用流程和部署方案建議，完成以上步驟，僅僅是在集群內部署了 Nginx 的相關組件，但要接收外部的流量，還需要配置，還需要配置 nginx 的前端 LB。當前 TKE 已完成對 Nginx Ingress 的產品化支持，可以根據業務需要選擇以下部署模式之一。

方案一：VPC-CNI 模式集群使用 CLB 直通 Nginx 的 Service（推薦）

前置條件（滿足其一即可）：

1. 集群自身網絡插件為 VPC-CNI
2. 集群自身網絡插件為 Global Router，並已開啟 VPC-CNI 的支持（兩種模式混用）

我們以節點池部署的負載示例

當前方案性能好，所有的 Pod 都使用的彈性網卡，彈性網卡的 Pod 是支持 CLB 直綁 Pod 的，可以繞過 NodePort，並且不需要手動維護 CLB，支持自動擴縮容，是最理想的方案。

方案二：Global Router 模式集群使用普通 LoadBalancer 模式的 Service

當前 TKE 對於 LoadBalancer 類型的 Service 默認的實現是基於 NodePort，CLB 會綁定各節點的 NodePort 作為后端的 RS，將流量轉發到節點的 NodePort，然后節點再通過 Iptables 或 IPVS 將請求路由到 Service 對應的后端 Pod（指 Nginx Ingress Controller 的 Pod）。

您的集群如果不支持 VPC-CNI 的網絡模式，可以通過常規的 LoadBalancer 訪問方式的 Service 接入流量。
這是在 TKE 上部署 Nginx Ingress 最簡單的方式，流量會經過一層 NodePort，多一層轉發，但可能存在以下的問題：

1. 轉發路徑較長，流量到 NodePort 后，還會再經過 Kubernetes 內部負載均衡，通過 Iptables 或 IPVS 轉發到 Nginx，會增加一點網絡耗時
2. 經過 NodePort，必然會發生 SNAT，如果流量過於集中，容易導致源端口耗盡或者 conntrack 插入沖突而導致丟包，引發部分流量異常。
3. 每個節點的 NodePort 也充當一個負載均衡器，CLB 如果綁定大量節點的 NodePort，負載均衡的狀態就分散在每個節點上，容易導致全局負載不均。
4. CLB 會對 NodePort 進行健康探測，探測包最終會被轉發到 Nginx Ingress 的 Pod，如果 CLB 綁定的節點數量多於 Nginx Ingress 的 Pod，會導致探測包對 Nginx Ingress 造成較大的壓力。

方案三：使用 HostNetwork + LB

方案二雖然是最簡單的部署方式，但是流量會經過一層 NodePort，且可能存在如上所描述的問題，我們可以讓 Nginx Ingress 使用 HostNetwork，CLB 直接綁定節點 IP + 端口(80,443)。由於使用 HostNetwork，nginx ingress 的 Pod 就不能被調度到同一個節點當中，避免端口監聽沖突。
由於 TKE 尚未對此方案進行產品化，可以通過提前規划，選擇部分節點，專門用於部署 nginx-ingress-controller，為節點打上 Label，然后以 DaemonSet 的方式部署在這些節點上（即 nginx-ingress-controller 的部署方案一）。

如何集成監控

TKE 通過集成 騰訊雲容器團隊的高性能雲原生監控服務（傳送門：https://console.cloud.tencent.com/tke2/prometheus ），也可在以前發布的文章《如何用 Prometheus 監控十萬 container 的 Kubernetes 集群》中了解 Prometheus，Kvass 和怎么利用 kvass 為基礎的 Prometheus 集群化技術。

綁定監控實例

查看監控數據

如何采集和消費日志

TKE 通過集成 騰訊雲日志服務 CLS，提供了全套完整的產品化能力，實現 nginx-ingress-controller 的日志采集和消費能力，但需要注意如下幾個事項：

1. 前置要求：確保當前集群已開啟日志采集功能
2. 在 nginx-ingress-controller 實例中，配置日志采集的相關選項。

總結

本文梳理了如何使用騰訊雲容器服務控制台玩轉 Nginx Ingress，主要介紹了控制台上的對於 nginx-ingress-controller 的兩種部署方式以及建議，以及前端接入 LB 的三種方式，除了在 TKE 上進行 Nginx Ingress 的一鍵部署，TKE 還提供集群所部署的 nginx-ingress-controller 日志和監控的相關能力的產品化支持。對於想要在 TKE 上使用 Nginx Ingress，本文是一個很好的參考和指引。

【騰訊雲原生】雲說新品、雲研新術、雲游新活、雲賞資訊，掃碼關注同名公眾號，及時獲取更多干貨！！