k8s之Ingress-nginx基本原理及部署實戰

kubernetes服務暴露介紹

到目前為止，kubernetes總共有三種暴露服務的方式：

• LoadBlancer Service
• NodePort Service
• Ingress

LoadBlancer Service

LoadBlancer Service是kubernetes結合雲平台的組件，如國外的GCE，AWS，國內阿里雲等等。使用它項使用的底層雲平台申請創建負載均衡器來實現，對使用雲平台的集群比較方便，但有局限，費用高。

NodePort Service

我們之前博文中暴露服務時，用的都是nodeport，實質上就是通過在集群的每個節點上暴露一個端口，然后將這個端口映射到某個具體的service來實現的，比較直觀方便，雖然每個node的端口有很多（0~65535），但是由於安全和易用方面（服務多了就亂了，還有端口沖突問題）且對主機安全性存在一定風險（內網環境，問題不大），所以實際使用並不多，當然對於小規模的集群服務，還是比較不錯的。

以上兩種服務從各方面看似都不太理想，所以通過情況下，我們會通過Ingress對象來實現（安全，方便統一管理）。

Ingress概述

一，什么是Ingress？

在kubernetes集群中，我們知道service和pod的ip僅在集群內部訪問。如果外部應用要訪問集群內的服務，集群外部的請求需要通過負載均衡轉發到service在Node上暴露的NodePort上，然后再由kube-proxy組件將其轉發給相關的pod。

而Ingress就是為進入集群的請求提供路由規則的集合，通俗點就是提供外部訪問集群的入口，將外部的HTTP或者HTTPS請求轉發到集群內部service上。


流程圖如上，其中Ingress代理的並不是pod的service，而是pod，之所以在配置的時候是配置的service，是為了通過service來獲取所有pod的信息。
.

二，Ingress-nginx組成

Ingress-nginx一般由三個組件組成：

• 反向代理負載均衡器
• Ingress Controller
• Ingress

1）反向代理負載均衡器：通常以service的port方式運行，接收並按照ingress定義的規則進行轉發，常用的有nginx，Haproxy，Traefik等，本文中使用的就是nginx。
 2）ingress-nginx-Controller： 監聽APIServer，根據用戶編寫的ingress規則（編寫ingress的yaml文件），動態地去更改nginx服務的配置文件，並且reload重載使其生效，此過程是自動化的（通過lua腳本來實現）。
3）Ingress：將nginx的配置抽象成一個Ingress對象，當用戶每添加一個新的服務，只需要編寫一個新的ingress的yaml文件即可。

三，Ingress-nginx的工作原理

1）ingress controller通過和kubernetes api交互，動態的去感知集群中ingress規則變化。
2）然后讀取它，按照自定義的規則，規則就是寫明了那個域名對應哪個service，生成一段nginx配置。
3）在寫到nginx-ingress-controller的pod里，這個Ingress controller的pod里運行着一個Nginx服務，控制器會把生成的nginx配置寫入/etc/nginx.conf文件中。
4）然后reload一下使配置生效，以此達到分配和動態更新問題。

四，ingress-nginx解決了生產環境中哪些問題？

1）動態配置服務：
如果按照傳統方式，當新增加一個服務時，我們可能需要在流量入口加一個反向代理指向我們新的服務，而使用ingress，只需要配置好ingress，當服務啟動時，會自動注冊到ingress當中，不需要額外的操作。

2）減少不必要的Port暴露（安全，端口容易管理）
我們知道部署k8s時，是需要關閉防火牆的，主要原因是k8s的很多服務會以nodeport方式映射出去，這樣對於宿主機來說是非常的不安全的，而ingress可以避免這個問題，只需要將ingress自身服務映射出去，就可代理后端所有的服務，則后端服務不需要映射出去。

部署Ingress-nginx

本文通過以下配置示例來實踐ingress-nginx：

在本文部署ingress-nginx中所有用到的docker鏡像包，大家可以從我GitHub中進行下載，鏡像包下載鏈接：https://github.com/sqm-sys/Ingress-nginx/releases/tag/v1

一，部署ingress-nginx前准備：

1，搭建私有倉庫（registry），並push測試鏡像（apache，tomcat）到倉庫中

#運行registry私有倉庫： [root@master ~]# docker run -d --name registry --restart=always -p 5000:5000 -v /data/registry:/var/lib/registry registry #修改docker配置文件： [root@master ~]# vim /usr/lib/systemd/system/docker.service ExecStart=/usr/bin/dockerd -H unix:// --insecure-registry 172.16.1.30:5000 #拷貝修改后的docker配置文件到集群其他節點中： [root@master ~]# scp /usr/lib/systemd/system/docker.service node01:/usr/lib/systemd/system/ [root@master ~]# scp /usr/lib/systemd/system/docker.service node02:/usr/lib/systemd/system/ #集群中所有主機重新加載進程，並重啟docker服務： [root@master ~]# systemctl daemon-reload [root@master ~]# systemctl restart docker #push測試鏡像至私有倉庫： [root@master ~]# docker push 172.16.1.30:5000/apache:v1 [root@master ~]# docker push 172.16.1.30:5000/tomcat:v1 

2,創建namespace
#創建yaml文件：

apiVersion: v1 kind: Namespace metadata: name: ingress-test

#創建並查看namespace： [root@master ~]# kubectl create -f ns.yaml namespace/ingress-nginx created [root@master ~]# kubectl get ns NAME STATUS AGE default Active 92d ingress-test Active 4s

3，創建deployment及service資源進行測試
1）創建httpd及service資源：

[root@master ~]# mkdir ingress-nginx [root@master ~]# cd ingress-nginx/ [root@master ingress-nginx]# vim httpd.yaml apiVersion: extensions/v1beta1 kind: Deployment metadata: name: httpd namespace: ingress-test spec: replicas: 3 template: metadata: labels: name: httpd spec: containers: - name: httpd image: 172.16.1.30:5000/apache:v1 #鏡像從私有倉庫中進行拉取 --- apiVersion: v1 kind: Service metadata: name: httpd-svc namespace: ingress-test spec: type: NodePort selector: name: httpd ports: - protocol: TCP port: 80 targetPort: 80 nodePort: 32134

2）創建tomcat及service資源：

[root@master ingress-nginx]# vim tomcat.yaml apiVersion: extensions/v1beta1 kind: Deployment metadata: name: tomcat namespace: ingress-test spec: replicas: 3 template: metadata: labels: name: tomcat spec: containers: - name: tomcat image: 172.16.1.30:5000/tomcat:v1 --- apiVersion: v1 kind: Service metadata: name: tomcat-svc namespace: ingress-test spec: type: NodePort selector: name: tomcat ports: - protocol: TCP port: 8080 targetPort: 8080 nodePort: 32135

#創建以上兩個應用，並查看是否創建成功：

[root@master ingress-nginx]# kubectl create -f httpd.yaml deployment.extensions/httpd created service/httpd-svc create [root@master ingress-nginx]# kubectl create -f tomcat.yaml deployment.extensions/tomcat created service/tomcat-svc created

3）測試外部通過nodeport方式能否訪問到集群內部應用：

可以看到通過nodeport暴露的方式是沒有問題的，但是到該種方式在大規模的集群服務中，有很大的缺陷，所以接下來通過ingress-nginx進行實現。

二，創建ingress-nginx

1）GitHub上下載yaml文件的網頁鏈接：https://github.com/kubernetes/ingress-nginx/blob/master/docs/deploy/index.md

進入后顯示以下頁面：

#注意：網頁上完整的命令是直接執行該yaml文件，我們先不要執行，先將該yaml文件下載到本地主機上。（復制命令即可）

[root@master ingress-nginx]# wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.28.0/deploy/static/mandatory.yaml [root@master ingress-nginx]# ls httpd.yaml mandatory.yaml tomcat.yaml

2）修改yaml文件：
[root@master ingress-nginx]# vim mandatory.yaml
#添加以下字段：

hostNetwork: true
如果使用此網絡參數，那么pod中運行的應用程序可以直接使用node節點端口，這樣node節點主機所在的網絡的其他主機，都可以通過訪問到此應用程序。
nodeSelector:
設置節點標簽選擇器，指定在哪台節點上運行。（保持默認即可，讓它自己選擇，當然大家也可以自定義標簽並選擇運行對應的node）
.
上面鏡像包的版本可能會經常的更新，我用的是當前最新版本0.28.0，大家可以根據自己想用的版本進行下載。

注意：因為默認yaml文件中指定下載地址是國外的鏡像，由於國內網絡環境限制，我們不能直接從google的鏡像站下載鏡像，所以大家可以通過以下方式進行下載：
[root@master ingress-nginx]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:0.28.0

3）導入鏡像包-將nginx-ingress-controller.0.28.0鏡像包導入集群中的各個節點：

[root@node01 ~]# docker load < nginx-ingress-controller.0.28.0.tar [root@node01 ~]# docker images | grep nginx-ingress registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller 0.28.0 61de39f77f45 7 days ago 305MB

//在master上執行該yaml文件：

//查看ingress-nginx pod是否運行： [root@master ingress-nginx]# kubectl get pod -n ingress-nginx -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginx-ingress-controller-685985b5b8-8mzjc 1/1 Running 0 43s 172.16.1.32 node02 <none> <none>

4）創建ingress規則（YAML文件）
yaml文件內容如下：

[root@master ingress-nginx]# vim ingress-rule.yaml apiVersion: extensions/v1beta1 kind: Ingress metadata: name: test-ingress namespace: ingress-test annotations: nginx.ingress.kubernetes.io/rewrite-target: / spec: rules: - host: ingress.test.com #后端應用通過該域名進行訪問 http: paths: - path: / #apache的網頁根目錄：/ backend: serviceName: httpd-svc servicePort: 80 - path: /tomcat #tomcat的網頁更目錄：/tomcat backend: serviceName: tomcat-svc servicePort: 8080

創建該規則就是用於分別代理后端的apache和tomcat服務。

//創建ingress，並查看綁定信息：
[root@master ingress-nginx]# kubectl create -f ingress-rule.yaml ingress.extensions/test-ingress created [root@master ingress-nginx]# kubectl get ingresses. -n ingress-test NAME HOSTS ADDRESS PORTS AGE test-ingress ingress.test.com 80 17s

#查看describe查看詳細信息（確保成功綁定后端得到apache和tomcat服務）

。
##進入ingress容器查看nginx的配置文件：

[root@master ingress-nginx]# kubectl exec -it -n ingress-nginx nginx-ingress-controller-685985b5b8-8mzjc /bin/sh /etc/nginx $ cat nginx.conf

通過查看nginx配置文件，我們可以了解到ingress-controller會根據我們編寫的ingress規則（規則就是代理后端應用且會生成一段nginx配置），將nginx配置動態寫入到nginx的配置文件中，並使其reload生效。

5）通過域名訪問集群內的服務

##當前我們需要知道ingress運行在那個node上： [root@master ingress-nginx]# kubectl get pod -o wide -n ingress-nginx NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginx-ingress-controller-685985b5b8-8mzjc 1/1 Running 0 31m 172.16.1.32 node02 <none> <none>

我們沒有搭建DNS服務器，所以需要在windows主機上將node02的ip地址添加到hosts文件中，做域名解析：

修改路徑：C:\Windows\System32\drivers\etc\hosts（需要給予修改權限） 172.16.1.32 ingress.test.com #添加該條內容

##訪問httpd：

##訪問tomcat：

6）創建ingress的service資源對象：
雖然上面通過ingress已經能夠代理后端的應用了，但是我們可以發現只能通過指定運行節點的地址來做域名解析（訪問網頁），不能通過集群中的其他節點來訪問，如果該節點掛掉了，則會導致ingress無法代理后端的應用，所以我們需要為ingress創建service資源。
。
GitHub上為我們提供了YAML文件：

##我們將其下載到本地：

[root@master ingress-nginx]# wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.28.0/deploy/static/provider/baremetal/service-nodeport.yaml [root@master ingress-nginx]# cat service-nodeport.yaml #不需要我們做修改，這里只是查看下內容 apiVersion: v1 kind: Service metadata: name: ingress-nginx namespace: ingress-nginx labels: app.kubernetes.io/name: ingress-nginx app.kubernetes.io/part-of: ingress-nginx spec: type: NodePort ports: - name: http port: 80 targetPort: 80 protocol: TCP - name: https port: 443 targetPort: 443 protocol: TCP selector: app.kubernetes.io/name: ingress-nginx app.kubernetes.io/part-of: ingress-nginx ---

//我們創建該service資源對象：

[root@master ingress-nginx]# kubectl create -f service-nodeport.yaml service/ingress-nginx created [root@master ingress-nginx]# kubectl get svc -n ingress-nginx NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ingress-nginx NodePort 10.101.206.247 <none> 80:30842/TCP,443:32550/TCP 20s

#可以看到nodeport為我們映射出http和https的隨機端口30842/32550。我們通過此端口，就可指定集群中任意一台節點的地址都可以代理后端的應用，即使集群中某一節點宕機也不會影響外部通過域名訪問。

##訪問apache：

##訪問tomcat

。
此時在windows主機中的host文件中，隨便綁定集群中的任意節點的ip地址，都是可以進行解析網頁的（大家可自己測試）,從而解決了我們之前所擔心的問題，相比於之前nodeport方式，證明ingress可以解決不必要的port暴露，只需要映射ingress的端口，就可以代理后端所有的應用，從而滿足了我們的需求。

.

三，基於虛擬主機的ingress

搭建虛擬主機的目的：實現以不同的域名訪問同一個web界面
本文就僅基於上面的httpd服務，我們為該服務綁定兩個不同的域名來訪問：
##修改ingress規則文件（完整的yaml配置如下）

apiVersion: extensions/v1beta1 kind: Ingress metadata: name: test-ingress namespace: ingress-test annotations: nginx.ingress.kubernetes.io/rewrite-target: / spec: rules: - host: ingress.test.com http: paths: - path: / backend: serviceName: httpd-svc servicePort: 80 - path: /tomcat backend: serviceName: tomcat-svc servicePort: 8080 - host: ingress.test2.com #只需要在rules字段下添加另一個host字段即可，這里只實現httpd的，如果有需求可以添加上tomcat的。 http: paths: - path: / backend: serviceName: httpd-svc #注意，serviceName所有虛擬主機必須保持一致 servicePort: 80

//創建新的虛擬主機並查看：

[root@master ingress-nginx]# kubectl apply -f ingress-rule.yaml ingress.extensions/test-ingress configured [root@master ingress-nginx]# kubectl get ingresses. -n ingress-test NAME HOSTS ADDRESS PORTS AGE test-ingress ingress.test.com,ingress.test2.com 10.101.206.247 80 83m

//通過不同的域名進行訪問httpd網頁：

因為我們沒有搭建dns服務器，所以需要在windows hosts文件將新的域名進行綁定（地址可以綁定集群中任意一台node）： 172.16.1.31 ingress.test.com 172.16.1.32 ingress.test2.com

至此，實現了多個不同域名能夠同時訪問后端的應用。
.

四，基於HTTPS的Ingress（443端口）

通過部署ingress后，我們不必按照常規的，為后端所有的pod都頒發一個證書，只需為ingress代理的域名頒發證書就能夠實現。

1）創建CA證書：

[root@master HTTPS]# openssl req -x509 -sha256 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/CN=nginxsvc/O=nginxsvc" #參數可根據需求自定義 Generating a 2048 bit RSA private key ..............................+++ ..+++ writing new private key to 'tls.key' -----

#創建完成后，會在當前目錄下生成密鑰和證書文件：

[root@master HTTPS]# ls tls.crt tls.key

2)創建deployment，service，ingress資源:（以nginx服務來實踐）
[root@master HTTPS]# vim nginx-ingress2.yaml
#完整的yaml文件內容如下：

apiVersion: extensions/v1beta1 #創建deployment kind: Deployment metadata: name: web namespace: ingress-test spec: template: metadata: labels: name: test-web spec: containers: - name: web image: 172.16.1.30:5000/nginx:v1 #私有倉庫中的鏡像（已提供） --- apiVersion: v1 #創建service，關聯上述deployment kind: Service metadata: name: web-svc namespace: ingress-test spec: selector: name: test-web ports: - protocol: TCP port: 80 targetPort: 80 --- apiVersion: extensions/v1beta1 #創建ingress規則 kind: Ingress metadata: name: test-ingress2 namespace: ingress-test spec: tls: #為域名頒發證書 - hosts: - ingress.nginx.com secretName: tls-secret rules: - host: ingress.nginx.com http: #注意，此處字段為http，不支持https paths: - path: / backend: serviceName: web-svc servicePort: 80

##創建基於https的ingress服務（nginx）： [root@master HTTPS]# kubectl create -f nginx-ingress2.yaml deployment.extensions/web created service/web-svc created ingress.extensions/test-ingress2 created

##查看ingress資源和映射的service端口：

[root@master HTTPS]# kubectl get pod -n ingress-test | grep web web-74cf864c58-rnvpx 1/1 Running 0 24s [root@master HTTPS]# kubectl get ingresses. -n ingress-test NAME HOSTS ADDRESS PORTS AGE test-ingress ingress.test.com,ingress.test2.com 10.101.206.247 80 127m test-ingress2 ingress.nginx.com 10.101.206.247 80, 443 5m32s #可以看到新創建的ingress提供了80和443端口 //查看ingress的service映射的端口 [root@master HTTPS]# kubectl get svc -n ingress-nginx NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ingress-nginx NodePort 10.101.206.247 <none> 80:30842/TCP,443:32550/TCP 86m

3）通過ingress代理的443端口訪問nginx服務：

#在hosts文件中綁定域名： 172.16.1.32 ingress.nginx.com

#訪問網址：https://ingress.nginx.com:32550/

基於HTTPS的ingress服務成功實現，至此，ingress-nginx部署完成。。。。。。。