kubernetes Traefik ingress配置詳解

理解Ingress

簡單的說，ingress就是從kubernetes集群外訪問集群的入口，將用戶的URL請求轉發到不同的service上。Ingress相當於nginx、apache等負載均衡方向代理服務器，其中還包括規則定義，即URL的路由信息，路由信息得的刷新由Ingress controller來提供。

 

理解Ingress Controller

Ingress Controller 實質上可以理解為是個監視器，Ingress Controller 通過不斷地跟 kubernetes API 打交道，實時的感知后端 service、pod 等變化，比如新增和減少 pod，service 增加與減少等；當得到這些變化信息后，Ingress Controller 再結合下文的 Ingress 生成配置，然后更新反向代理負載均衡器，並刷新其配置，達到服務發現的作用。

 

部署Traefik

Traefik是一款開源的反向代理與負載均衡工具。它最大的優點是能夠與常見的微服務系統直接整合，可以實現自動化動態配置。目前支持Docker, Swarm, Mesos/Marathon, Mesos, Kubernetes, Consul, Etcd, Zookeeper, BoltDB, Rest API等等后端模型。

 

配置文件

ingress-rbac.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: ingress
  namespace: kube-system

---

kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: ingress
subjects:
  - kind: ServiceAccount
    name: ingress
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: cluster-admin
  apiGroup: rbac.authorization.k8s.io

 

創建名為traefik-ingress的ingress，文件名ingress.yaml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: traefik-ingress
  namespace: default
spec:
  rules:
  - host: traefik.locust.io
    http:
      paths:
      - path: /
        backend:
          serviceName: locust-master　　　　#確保此service-name在 上面指定的namespace中
          servicePort: 8089

 

這其中的backend中要配置default namespace中啟動的service名字，如果你沒有配置namespace名字，默認使用default namespace，如果你在其他namespace中創建服務想要暴露到kubernetes集群外部，可以創建新的ingress.yaml文件，同時在文件中指定該namespace，其他配置與上面的文件格式相同。。path就是URL地址后的路徑，如traefik.frontend.io/path，service將會接受path這個路徑，host最好使用service-name.filed1.filed2.domain-name這種類似主機名稱的命名方式，方便區分服務。

根據你自己環境中部署的service的名字和端口自行修改，有新service增加時，修改該文件后可以使用kubectl replace -f ingress.yaml來更新。

 

使用DaemonSet類型來部署Traefik,文件名 treafik.yml

apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: traefik-ingress-lb
  namespace: kube-system
  labels:
    k8s-app: traefik-ingress-lb
spec:
  template:
    metadata:
      labels:
        k8s-app: traefik-ingress-lb
        name: traefik-ingress-lb
    spec:
      terminationGracePeriodSeconds: 60
      hostNetwork: true
      restartPolicy: Always
      serviceAccountName: ingress
      containers:
      - image: traefik
        name: traefik-ingress-lb
        resources:
          limits:
            cpu: 200m
            memory: 30Mi
          requests:
            cpu: 100m
            memory: 20Mi
        ports:　　　　　　　　　　#暴露端口
        - name: http
          containerPort: 80
          hostPort: 80
        - name: admin
          containerPort: 8580
          hostPort: 8580
        args:
        - --web
        - --web.address=:8580
        - --kubernetes
      #nodeSelector:
        #edgenode: "true"

 

查看pod信息並訪問ui(需要配置)

http://10.10.10.12:8580/dashboard/

 

如下所示

默認情況下是沒任何東西的

 

使用下面的yaml配置來創建Traefik的ingress，文件名 ui.yml

apiVersion: v1
kind: Service
metadata:
  name: traefik-web-ui
  namespace: kube-system
spec:
  selector:
    k8s-app: traefik-ingress-lb
  ports:
  - name: web
    port: 80
    targetPort: 8580
---
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: traefik-web-ui
  namespace: kube-system
spec:
  rules:
  - host: test.traefik-ingress.io
    http:
      paths:
      - path: /
        backend:
          serviceName: traefik-web-ui
          servicePort: web

 

創建

kubectl create -f .

 

部署Locust的Controller和Service

locust是啥。。自行百度

$ git clone https://github.com/rootsongjc/distributed-load-testing-using-kubernetes.git

$ cd distributed-load-testing-using-kubernetes/kubernetes-config

 

修改locust-master-cotnroller中spec.template.spec.containers.env字段中的value為你sample-webapp service的名字（要進行壓力測試的服務的地址）。例：

- name: TARGET_HOST
  value: http://jenkins.kube-system.svc.cluster.local:8080

 

部署locust-master

$ kubectl create -f locust-master-controller.yaml
$ kubectl create -f locust-master-service.yaml

 

部署locust-worker

$ kubectl create -f locust-worker-controller.yaml

#worker擴容
$ kubectl scale --replicas=20 replicationcontrollers locust-worker

 

配置Traefik

ingress.yaml中加入如下配置(上面已經配置)：

 - host: traefik.locust.io
    http:
      paths:
      - path: /
        backend:
          serviceName: locust-master　　　　#namespace要寫對
          servicePort: 8089

 

然后執行kubectl replace -f ingress.yaml即可更新traefik。

 

本地配置host,然后訪問traefik.locust.io

start swarming就會開始測試

 

設置邊緣節點

 

首先解釋下什么叫邊緣節點（Edge Node），所謂的邊緣節點即集群內部用來向集群外暴露服務能力的節點，集群外部的服務通過該節點來調用集群內部的服務，邊緣節點是集群內外交流的一個Endpoint。

 

邊緣節點要考慮兩個問題

• 邊緣節點的高可用，不能有單點故障，否則整個kubernetes集群將不可用
• 對外的一致暴露端口，即只能有一個外網訪問IP和端口

 

在Kubernetes中添加了service的同時，在DNS中增加一個記錄，這條記錄需要跟ingress中的host字段相同，IP地址即VIP的地址，本示例中是10.10.10.166，這樣集群外部就可以通過service的DNS名稱來訪問服務了。

 

選擇Kubernetes的兩個個node作為邊緣節點，並安裝keepalived，下圖展示了邊緣節點的配置，同時展示了向Kubernetes中添加服務的過程。

 

配置說明

需要對原先的traefik ingress進行改造，從以Deployment方式啟動改成DeamonSet。還需要指定一個與node在同一網段的IP地址作為VIP，這里指定成10.10.10.166，配置keepalived前需要先保證這個IP沒有被分配。。

• Traefik以DaemonSet的方式啟動
• 通過hostPort暴露端口
• 當前VIP漂移到10.10.10.166上
• Traefik根據訪問的host和path配置，將流量轉發到相應的service上

 

• 安裝keepalived並配置

yum install keepalived ipvsadm

 

配置

! Configuration File for keepalived

global_defs {
   notification_email {
     root@localhost
   }
   notification_email_from kaadmin@localhost
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.10.10.166
    }
}

virtual_server 10.10.10.166 80{
    delay_loop 6
    lb_algo loadbalance
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 0
    protocol TCP

    real_server 10.10.10.12 80{
        weight 1
        TCP_CHECK {
        connect_timeout 3
        }
    }
    real_server 10.10.10.162 80{
        weight 1
        TCP_CHECK {
        connect_timeout 3
        }
    }
}

 

Realserver的IP和端口即traefik供外網訪問的IP和端口。將以上配置分別拷貝到另外一台node的/etc/keepalived目錄下。

使用轉發效率最高的lb_kind DR直接路由方式轉發，使用TCP_CHECK來檢測real_server的health。

 

設置keepalived為開機自啟動：

chkconfig keepalived on

 

啟動keepalived

systemctl start keepalived

 

node都啟動了keepalived后，觀察eth0的IP，會在兩台node的某一台上發現一個VIP是10.10.10.166。

 

• 從新配置traefik ingress 

 由於上面配置了keepalived，此時，本地hosts 文件的解析地址可以寫成10.10.10.166，使用基於域名的traefik ingress

以上面的locust為例，配置traefik ingress如下

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: traefik-ingress
  namespace: default
  annotations:　　　　　　　　　　　　　　　　　　#必須指定
    kubernetes.io/ingress.class: traefik
    traefik.frontend.rule.type: PathPrefixStrip
spec:
  rules:
  #- host: traefik.locust.io
  - host: test.traefik-ingress.io
    http:
      paths:
      - path: /locust　　　　　　#此處配置了url，上面必須指定annotations指定的配置
        backend:
          serviceName: locust-master
          servicePort: 8089

 創建好以后，訪問 test.traefik-ingress.io/locust

 

其他服務同理，host可寫test.traefik-ingress.io，只配置path用於區分不同的服務，訪問的時候訪問host/path即可

 

Traefik在Kubernetes中Annotate的配置

通用配置

kubernetes.io/ingress.class: traefik   　　　　#Ingress聲明，這里聲明了ingress后端采用traefik實現，而不是nginx的controller

ingress.kubernetes.io/whitelist-source-range: "1.2.3.0/24, fe80::/16" 　　　　#配置訪問白名單，支持ipv4和ipv6

ingress.kubernetes.io/auth-type: basic        　　#http認證模式，此處為basic模式

ingress.kubernetes.io/auth-secret: mysecret      #basic認證的對應的username和password，這里對應的traefik所在kubernetes命名空間里的secrets


前端配置

traefik.frontend.rule.type: PathPrefixStrip

traefik.frontend.priority: "3"　　　　　　#配置前端的權重，值越高則優先匹配

traefik.frontend.passHostHeader: "false"　　　　　　#關閉傳入Hearder

traefik.protocol=https　　　　　　　　#使用https協議

traefik.frontend.entryPoints=http,https　　　　　　#同時支持http和https


后端配置

traefik.backend.loadbalancer.method=drr  　　　　　　#后端Service的負載均衡策略，目前traefik支持的策略包括：wrr（加權輪訓調度算法）和drr（動態加權循環調度算法）

traefik.backend.loadbalancer.stickiness=true 　　　　　　#是否開啟負載均衡器的session親和性

traefik.backend.loadbalancer.stickiness.cookieName=NAME　　　　#手動配置后端session親和性的cookie名稱

traefik.backend.loadbalancer.sticky=true

棄用

健康檢查

traefik.backend.healthcheck.path=/health

traefik的監控檢查路徑

traefik.backend.healthcheck.interval=5s

健康檢查的時間間隔

traefik.backend.circuitbreaker: "NetworkErrorRatio() > 0.5"

監測某台節點上的服務錯誤率達到50%時，自動下線該節點。

traefik.backend.circuitbreaker: "LatencyAtQuantileMS(50.0) > 50"

監測某台節點上服務的延時大於50ms時，自動下線該節點。

traefik.backend.circuitbreaker: "ResponseCodeRatio(500, 600, 0, 600) > 0.5"

監測某台節點上服務返回狀態碼為[500-600]在[0-600]區間占比超過50%時，自動下線該節點。