k8s Ingress和ingress控制器

 

 

ingress架構圖簡介

我們知道service的表現形式為IP:PORT，即工作在第四層傳輸層（TCP/IP層），那么對於不同的URL地址經常對應用不同的后端服務或者虛擬服務器，這些應用層的轉發機制僅通過kubernetes的service機制是無法實現的，這種情況我么可以使用ingress策略定義和一個具體的ingress Controller，兩者結合實現一個完整的Ingress 負載均衡，這個負載均衡是基於nginx七層反向代理來實現的，ingress工作原理如下圖：

 

外部客戶端通過訪問負載均衡器，然后調度到service上，然后在調度到IngressController，IngressController通過Ingress規則（域名或虛擬主機）訪問到后端pod，而在Ingress規則當中對應的主機是又service分組來設定的，可以看到，這幅圖有2種service，最上面的service是用來對外提供服務的，而下面2個service僅僅是用來分pod組的

 ingress安裝和配置

在github上下載相關yaml文件

下載mandatory.yaml文件

wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.20.0/deploy/mandatory.yaml
wget  https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/provider/baremetal/service-nodeport.yaml      #對外提供服務，如果不需要可以不下載

因為mandatory文件中默認用的是谷歌地址，你懂得，所以替換defaultbackend-amd64和nginx-ingress-controller鏡像地址，速度也會更快！

[root@master ingress-nginx]# sed -i 's#k8s.gcr.io/defaultbackend-amd64#registry.cn-qingdao.aliyuncs.com/kubernetes_xingej/defaultbackend-amd64#g' mandatory.yaml
[root@master ingress-nginx]# sed -i 's#quay.io/kubernetes-ingress-controller/nginx-ingress-controller#registry.cn-qingdao.aliyuncs.com/kubernetes_xingej/nginx-ingress-controller#g' mandatory.yaml

如果想手動修改訪問的端口可以添加service-nodeport文件中nodePort，如果采取隨機分配這一步可以忽略

[root@master ingress-nginx]# cat service-nodeport.yaml
apiVersion: v1
kind: Service
metadata:
  name: ingress-nginx
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
spec:
  type: NodePort
  ports:
    - name: http
      port: 80
      targetPort: 80
      protocol: TCP
      nodePort: 30080
    - name: https
      port: 443
      targetPort: 443
      protocol: TCP
      nodePort: 30443
  selector:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx

執行service-nodeport.yaml和mandatory.yaml兩個文件

[root@master ingress-nginx]# kubectl apply -f mandatory.yaml 
[root@master ingress-nginx]# kubectl apply -f service-nodeport.yaml

查看pod狀態

[root@master ingress-nginx]# kubectl get pods -A
NAMESPACE       NAME                                       READY   STATUS    RESTARTS   AGE
default         nginx-7bb7cd8db5-98wvj                     1/1     Running   0          62m
ingress-nginx   default-http-backend-7fccc47f44-qcfhh      1/1     Running   0          58m
ingress-nginx   nginx-ingress-controller-d786fc9d4-w5nrc   1/1     Running   0          58m
kube-system     coredns-bccdc95cf-8sqzn                    1/1     Running   2          4d2h
kube-system     coredns-bccdc95cf-vt8nz                    1/1     Running   2          4d2h
kube-system     etcd-master                                1/1     Running   1          4d2h
kube-system     kube-apiserver-master                      1/1     Running   1          4d2h
kube-system     kube-controller-manager-master             1/1     Running   2          4d2h
kube-system     kube-flannel-ds-amd64-c97wh                1/1     Running   1          4d1h
kube-system     kube-flannel-ds-amd64-gl6wg                1/1     Running   2          4d1h
kube-system     kube-flannel-ds-amd64-npsqf                1/1     Running   1          4d1h
kube-system     kube-proxy-gwmx8                           1/1     Running   2          4d2h
kube-system     kube-proxy-phqk2                           1/1     Running   1          4d1h
kube-system     kube-proxy-qtt4b                           1/1     Running   1          4d1h
kube-system     kube-scheduler-master                      1/1     Running   2          4d2h

查看svc狀態

[root@master ingress-nginx]# kubectl get svc -n ingress-nginx
NAME                   TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE
default-http-backend   ClusterIP   10.105.81.131   <none>        80/TCP                       59m
ingress-nginx          NodePort    10.105.53.207   <none>        80:30080/TCP,443:30443/TCP   58m

mandatory部署介紹

1.namespace.yaml 
創建一個獨立的命名空間 ingress-nginx

2.configmap.yaml 
ConfigMap是存儲通用的配置變量的，類似於配置文件，使用戶可以將分布式系統中用於不同模塊的環境變量統一到一個對象中管理；而它與配置文件的區別在於它是存在集群的“環境”中的，並且支持K8S集群中所有通用的操作調用方式。
從數據角度來看，ConfigMap的類型只是鍵值組，用於存儲被Pod或者其他資源對象（如RC）訪問的信息。這與secret的設計理念有異曲同工之妙，主要區別在於ConfigMap通常不用於存儲敏感信息，而只存儲簡單的文本信息。
ConfigMap可以保存環境變量的屬性，也可以保存配置文件。
創建pod時，對configmap進行綁定，pod內的應用可以直接引用ConfigMap的配置。相當於configmap為應用/運行環境封裝配置。
pod使用ConfigMap，通常用於：設置環境變量的值、設置命令行參數、創建配置文件。

3.default-backend.yaml 
如果外界訪問的域名不存在的話，則默認轉發到default-http-backend這個Service，其會直接返回404：

4.rbac.yaml 
負責Ingress的RBAC授權的控制，其創建了Ingress用到的ServiceAccount、ClusterRole、Role、RoleBinding、ClusterRoleBinding

5.with-rbac.yaml 
是Ingress的核心，用於創建ingress-controller。ingress-controller的作用是將新加入的Ingress進行轉化為Nginx的配置

 打開瀏覽器驗證

 

 上面提示的404是因為后端服務還沒有配置，這是OK的

創建后端服務

這里我們已nginx為服務為例，創建一個nginx和跟nginx對應的service，這里要注意metadata.name要和后面創建的ingress中的serviceName一致，切記！

[root@master myself]# cat mypod.yaml 
apiVersion: v1
kind: Service
metadata:
  name: service-nginx
  namespace: default
spec:
  selector:
    app: mynginx
  ports:
  - name: http
    port: 80
    targetPort: 80

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: mydepoy
  namespace: default
spec:
  replicas: 5
  selector:
    matchLabels:
      app: mynginx
  template:
    metadata:
      labels:
        app: mynginx
    spec:
      containers:
      - name: mycontainer
        image: lizhaoqwe/nginx:v1
        imagePullPolicy: IfNotPresent
        ports:
        - name: nginx 
          containerPort: 80

有了前端了，也有后端了，那么接下來就該創建ingress規則了

ingress配置

[root@master myself]# cat ingress-nginx.yaml 
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-mynginx
  namespace: default
  annotations:
    kubernetes.io/ingress.class: "nginx"
spec:
  rules:
  - host: mynginx.fengzi.com
    http:
      paths:
      - path:
        backend:
          serviceName: service-nginx
          servicePort: 80

在打開瀏覽器的主機添加一條hosts記錄（mynginx.fengzi.com   192.168.254.13）然后打開瀏覽器驗證

我們可以去查看nginx的配置文件，去查看我們所創建的規則有沒有注入到ingress中

#查看ingress-controller中的規則
[root@master myself]# kubectl get pods -n ingress-nginx                                                      
NAME                                       READY   STATUS    RESTARTS   AGE
default-http-backend-7fccc47f44-sgj6g      1/1     Running   0          140m
nginx-ingress-controller-d786fc9d4-4vb5z   1/1     Running   0          140m

[root@master myself]# kubectl exec -it nginx-ingress-controller-d786fc9d4-4vb5z -n ingress-nginx -- /bin/bash

www-data@nginx-ingress-controller-d786fc9d4-4vb5z:/etc/nginx$ cat nginx.conf

結果如下:

 

 我們可以看到nginx配置文件中已經有了我們所定義的反代規則

 ok，成功！！！

 

我們還可以用ingress實現更多的服務，比如tomcat，下面代碼是給tomcat服務添加5個pod和1個service分組

[root@master ingress]# cat tomcat.yaml 
apiVersion: v1
kind: Service
metadata:
  name: tomcat
  namespace: default
spec:
  selector:
    app: tomcat
  ports:
  - name: http
    port: 8080
    targetPort: 8080
  - name: ajp
    port: 8009
    targetPort: 8009
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: tomcat
  namespace: default
spec:
  replicas: 5
  selector:
    matchLabels:
      app: tomcat
  template:
    metadata:
      labels:
        app: tomcat
    spec:
      containers:
      - name: tomcat
        image: tomcat:7-alpine
        imagePullPolicy: IfNotPresent
        ports:
        - name: http
          containerPort: 8080
        - name: ajp
          containerPort: 8009

 

將tomcat服務添加至ingress-nginx中

[root@master ingress]# cat ingress-tomcat.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-mytomcat
  namespace: default
  annotations:
    kubernetes.io/ingress.class: "nginx"
spec:
  rules:
  - host: mytomcat.fengzi.com
    http:
      paths:
      - path:
        backend:
          serviceName: tomcat
          servicePort: 8080

在瀏覽器宿主機上添加hosts記錄（mytomcat.fengzi.com    192.168.254.13）,然后打開瀏覽器驗證

 

 

 這樣我們就可以實現利用nginx的反向代理，對於web服務針對主機名的不同顯示不通的網站

基於ssl協議的訪問

創建私有證書及secret

[root@master myself]# openssl genrsa -out tls.key 2048

#這里CN=后面要寫域名
[root@master myself]# openssl req -new -x509 -key tls.key -out tls.crt -subj /C=CN/ST=Beijing/L=Beijing/O=DevOps/CN=mytomcat.fengzi.com

#創建secret
[root@master myself]# kubectl create secret tls mytomcat-ingress-secret --cert=tls.crt --key=tls.key

查看證書

[root@master myself]# kubectl describe secret mytomcat-ingress-secret
Name:         mytomcat-ingress-secret
Namespace:    default
Labels:       <none>
Annotations:  <none>

Type:  kubernetes.io/tls

Data
====
tls.crt:  1302 bytes
tls.key:  1675 bytes

將證書添加到tomcat中，執行ingress-tomcat-tls.yaml文件，ingress-tomcat-tls.yaml文件內容如下

[root@master myself]# cat ingress-tomcat-tls.yaml 
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-mytomcat-tls
  namespace: default
  annotations:
    kubernetes.io/ingress.class: "nginx"
spec:
  tls:
  - hosts:
    - mytomcat.fengzi.com　　　　#這里寫域名
    secretName: mytomcat-ingress-secret   #這里寫secret證書名稱
  rules:
  - host: mytomcat.fengzi.com
    http:
      paths:
      - path:
        backend:
          serviceName: tomcat
          servicePort: 8080

驗證

 

 至此，全部結束！！！