k8s traefik ingress tls

使用下面的 openssl 命令生成 CA 證書：

$ openssl req -newkey rsa:2048 -nodes -keyout tls.key -x509 -days 365 -out tls.crt

現在我們有了證書，我們可以使用 kubectl 創建一個 secret 對象來存儲上面的證書：

$ kubectl create secret generic traefik-cert --from-file=tls.crt --from-file=tls.key -n kube-system 

配置 Traefik

前面我們使用的是 Traefik 的默認配置，現在我們來配置 Traefik，讓其支持 https：

defaultEntryPoints = ["http", "https"]

[entryPoints]
  [entryPoints.http]
  address = ":80"
    [entryPoints.http.redirect]
      entryPoint = "https
  [entryPoints.https]
  address = ":443"
    [entryPoints.https.tls]
      [[entryPoints.https.tls.certificates]]
      CertFile = "/ssl/tls.crt"
      KeyFile = "/ssl/tls.key"

上面的配置文件中我們配置了 http 和 https 兩個入口，並且配置了將 http 服務強制跳轉到 https 服務，這樣我們所有通過 traefik 進來的服務都是 https 的，要訪問 https 服務，當然就得配置對應的證書了，可以看到我們指定了 CertFile 和 KeyFile 兩個文件，由於 traefik pod 中並沒有這兩個證書，所以我們要想辦法將上面生成的證書掛載到 Pod 中去，是不是前面我們講解過 secret 對象可以通過 volume 形式掛載到 Pod 中？至於上面的 traefik.toml 這個文件我們要怎么讓 traefik pod 能夠訪問到呢？還記得我們前面講過的 ConfigMap 嗎？我們是不是可以將上面的 traefik.toml 配置文件通過一個 ConfigMap 對象掛載到 traefik pod 中去：

$ kubectl create configmap traefik-conf --from-file=traefik.toml -n kube-system 

現在就可以更改下上節課的 traefik pod 的 yaml 文件了：

kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: traefik-ingress-controller
  namespace: kube-system
  labels:
    k8s-app: traefik-ingress-lb
spec:
  replicas: 1
  selector:
    matchLabels:
      k8s-app: traefik-ingress-lb
  template:
    metadata:
      labels:
        k8s-app: traefik-ingress-lb
        name: traefik-ingress-lb
    spec:
      serviceAccountName: traefik-ingress-controller
      terminationGracePeriodSeconds: 60
      volumes:
      - name: ssl
        secret:
          secretName: traefik-cert
      - name: config
        configMap:
          name: traefik-conf
      tolerations:
      - operator: "Exists"
      nodeSelector:
        kubernetes.io/hostname: master
      containers:
      - image: traefik
        name: traefik-ingress-lb
        volumeMounts:
        - mountPath: "/ssl"
          name: "ssl"
        - mountPath: "/config"
          name: "config"
        ports:
        - name: http
          containerPort: 80
          hostPort: 80
        - name: https
          containerPort: 443
          hostPort: 443
        - name: admin
          containerPort: 8080
        args:
        - --configfile=/config/traefik.toml
        - --api
        - --kubernetes
        - --logLevel=INFO

 

和之前的比較，我們增加了 443 的端口配置，以及啟動參數中通過 configfile 指定了 traefik.toml 配置文件，這個配置文件是通過 volume 掛載進來的。然后更新下 traefik pod:

$ kubectl apply -f traefik.yaml
$ kubectl logs -f traefik-ingress-controller-7dcfd9c6df-v58k7 -n kube-system
time="2018-08-26T11:26:44Z" level=info msg="Server configuration reloaded on :80" time="2018-08-26T11:26:44Z" level=info msg="Server configuration reloaded on :443" time="2018-08-26T11:26:44Z" level=info msg="Server configuration reloaded on :8080" 

更新完成后我們查看 traefik pod 的日志，如果出現類似於上面的一些日志信息，證明更新成功了。現在我們去訪問 traefik 的 dashboard 會跳轉到 https 的地址，並會提示證書相關的報警信息，這是因為我們的證書是我們自建的，並不受瀏覽器信任，如果你是正規機構購買的證書並不會出現改報警信息，你應該可以看到我們常見的綠色標志： 

點擊下面的高級，我們可以強制讓其跳轉，這樣我們就可以正常訪問 traefik 的 dashboard 了。

配置 ingress

其實上面的 TLS 認證方式已經成功了，接下來我們通過一個實例來說明下 ingress 中 path 的用法，這里我們部署了3個簡單的 web 服務，通過一個環境變量來標識當前運行的是哪個服務：（backend.yaml）

kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: svc1
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: svc1
    spec:
      containers:
      - name: svc1
        image: cnych/example-web-service
        env:
        - name: APP_SVC
          value: svc1
        ports:
        - containerPort: 8080
          protocol: TCP

---
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: svc2
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: svc2
    spec:
      containers:
      - name: svc2
        image: cnych/example-web-service
        env:
        - name: APP_SVC
          value: svc2
        ports:
        - containerPort: 8080
          protocol: TCP

---
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: svc3
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: svc3
    spec:
      containers:
      - name: svc3
        image: cnych/example-web-service
        env:
        - name: APP_SVC
          value: svc3
        ports:
        - containerPort: 8080
          protocol: TCP

---
kind: Service
apiVersion: v1
metadata:
  labels:
    app: svc1
  name: svc1
spec:
  type: ClusterIP
  ports:
  - port: 8080
    name: http
  selector:
    app: svc1

---
kind: Service
apiVersion: v1
metadata:
  labels:
    app: svc2
  name: svc2
spec:
  type: ClusterIP
  ports:
  - port: 8080
    name: http
  selector:
    app: svc2

---
kind: Service
apiVersion: v1
metadata:
  labels:
    app: svc3
  name: svc3
spec:
  type: ClusterIP
  ports:
  - port: 8080
    name: http
  selector:
    app: svc3

 

可以看到上面我們定義了3個 Deployment，分別對應3個 Service：

$ kubectl create -f backend.yaml
deployment.extensions "svc1" created deployment.extensions "svc2" created deployment.extensions "svc3" created service "svc1" created service "svc2" created service "svc3" created 

然后我們創建一個 ingress 對象來訪問上面的3個服務：（example-ingress.yaml）

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: example-web-app
  annotations:
    kubernetes.io/ingress.class: "traefik"
spec:
  rules:
  - host: example.haimaxy.com
    http:
      paths:
      - path: /s1
        backend:
          serviceName: svc1
          servicePort: 8080
      - path: /s2
        backend:
          serviceName: svc2
          servicePort: 8080
      - path: /
        backend:
          serviceName: svc3
          servicePort: 8080

 

注意我們這里定義的 ingress 對象和之前有一個不同的地方是我們增加了 path 路徑的定義，不指定的話默認是 '/'，創建該 ingress 對象：

$ kubectl create -f test-ingress.yaml
ingress.extensions "example-web-app" created
$ kubectl get ingress
NAME              HOSTS                 ADDRESS   PORTS     AGE
example-web-app   example.haimaxy.com             80        1m
$ kubectl describe ingress example-web-app
Name:             example-web-app
Namespace:        default
Address:
Default backend:  default-http-backend:80 (<none>)
Rules:
  Host                 Path  Backends
  ----                 ----  --------
  example.haimaxy.com
                       /s1   svc1:8080 (<none>)
                       /s2   svc2:8080 (<none>)
                       /     svc3:8080 (<none>)
Annotations:
  kubernetes.io/ingress.class:  traefik
Events:                         <none>

 

現在我們可以在本地 hosts 里面給域名 example.haimaxy.com 添加對應的 hosts 解析，然后就可以在瀏覽器中訪問，可以看到默認也會跳轉到 https 的頁面：

 

 

 

我們可以看到訪問上面的域名得到的結果是 svc3 service！這是因為上面在 ingress 中我們為域名的跟路徑匹配的是 svc3 這個 service，同樣的，我們訪問http://example.haimaxy.com/s1 得到的應該就是 svc1 這個 service 了：

 

訪問http://example.haimaxy.com/s2 得到的應該就是 svc2 這個 service 了：

 

這里我們需要注意的是根路徑/必須在 ingress 對象中聲明的時候必須放在最后面，不然就都被/匹配到攔截到了，大家可以嘗試下把/這個 path 放在最上面，然后訪問下 s1 和 s2 這兩個 path，看看得到的結果是怎樣的？

不同的 ingress 對象是供不同的域名進行使用的，然后不同的域名的證書還不相同，這樣我們想使用上面 traefik 給大家提供的統一的 https 證書就不行了，這個時候我們就可以單獨為當前的服務提供單獨的證書就可以，同樣用證書文件創建一個 secret 對象，然后在 ingress 對象中聲明一個 tls 對象即可，比如上面的 example.haimaxy.com 我們可以單獨指定一個證書文件：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: example-web-app
  annotations:
    kubernetes.io/ingress.class: "traefik"
spec:
  tls:
    - secretName: traefik-cert
  rules:
  - host:
...