k8s ingress 控制器traefik

ingress 介紹

ingress 對外暴露集群http 和https 服務，之前k8s 是用iptables 的 ，不推薦，推薦用ipvs 模式。
ingress 是基於域名和url 路徑把用戶請求轉發到指定service 資源的規則。
ingress 控制器能夠將ingress 資源監聽某套接字，然后根據ingress 規則匹配機制路由調度流量的組件。
ingress 實際上就個簡化版的nginx + 一段go 腳本而已。
traefik 是 ingress 控制器的一種，還有nginx haproxy 也可以做 ingress 控制器。

traefik 介紹

traefik 是一個前端負載均衡器，對於微服務架構尤其是 kubernetes 等編排工具具有良好的支持；
同 nginx 等相比，traefik 能夠自動感知后端容器變化，從而實現自動服務發現。

traefik部署在k8s上分為daemonset和deployment兩種方式各有優缺點：
daemonset 能確定有哪些node在運行traefik，所以可以確定的知道后端ip，但是不能方便的伸縮
deployment 可以更方便的伸縮，但是不能確定有哪些node在運行traefik所以不能確定的知道后端ip
一般部署兩種不同類型的traefik:

面向內部(internal)服務的traefik，建議可以使用deployment的方式
面向外部(external)服務的traefik，建議可以使用daemonset的方式

traefik 部署

docker pull traefik:v1.7.2-alpine

准備資源配置清單：
yaml 文件參考：
https://github.com/containous/traefik/tree/v1.7/examples/k8s ，我用了daemonset 方式部署。

cd /data/k8s-yaml/traefik
cat > rbac.yaml <<EOF 
apiVersion: v1
kind: ServiceAccount
metadata:
  name: traefik-ingress-controller
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRole
metadata:
  name: traefik-ingress-controller
rules:
  - apiGroups:
      - ""
    resources:
      - services
      - endpoints
      - secrets
    verbs:
      - get
      - list
      - watch
  - apiGroups:
      - extensions
    resources:
      - ingresses
    verbs:
      - get
      - list
      - watch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: traefik-ingress-controller
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: traefik-ingress-controller
subjects:
- kind: ServiceAccount
  name: traefik-ingress-controller
  namespace: kube-system
EOF

cat > ds.yaml<<EOF 
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: traefik-ingress
  namespace: kube-system
  labels:
    k8s-app: traefik-ingress
spec:
  template:
    metadata:
      labels:
        k8s-app: traefik-ingress
        name: traefik-ingress
    spec:
      serviceAccountName: traefik-ingress-controller
      terminationGracePeriodSeconds: 60
      containers:
      - image: traefik:v1.7.2-alpine   #剛拉取的鏡像
        name: traefik-ingress
        ports:
        - name: controller
          containerPort: 80       #把容器的80 端口調度到node 81 端口,81就是ingress controller 端口。
          hostPort: 81
        - name: admin-web
          containerPort: 8080
        securityContext:
          capabilities:
            drop:
            - ALL
            add:
            - NET_BIND_SERVICE
        args:
        - --api
        - --kubernetes
        - --logLevel=INFO
        - --insecureskipverify=true
        - --kubernetes.endpoint=https://10.4.7.10:7443
        - --accesslog
        - --accesslog.filepath=/var/log/traefik_access.log
        - --traefiklog
        - --traefiklog.filepath=/var/log/traefik.log
        - --metrics.prometheus
EOF        

cat >svc.yaml<<EOF
kind: Service
apiVersion: v1
metadata:
  name: traefik-ingress-service
  namespace: kube-system
spec:
  selector:
    k8s-app: traefik-ingress
  ports:
    - protocol: TCP
      port: 80
      name: controller
    - protocol: TCP
      port: 8080
      name: admin-web
EOF
      
vim ingress.yaml  
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: traefik-web-ui
  namespace: kube-system
  annotations:
    kubernetes.io/ingress.class: traefik
spec:
  rules:
  - host: traefik.od.com
    http:
      paths:
      - path: /
        backend:
          serviceName: traefik-ingress-service
          servicePort: 8080


在7.21 上           
kubectl apply -f http://k8s-yaml.od.com/traefik/rbac.yaml
kubectl apply -f http://k8s-yaml.od.com/traefik/ds.yaml
kubectl apply -f http://k8s-yaml.od.com/traefik/svc.yaml
kubectl apply -f http://k8s-yaml.od.com/traefik/ingress.yaml

kubectl get pods -n kube-system   #檢查
同時增加dns A 記錄   traefik A 10.4.7.10 

 

配置nginx 反向代理

在7.11 和7.12 上都要做

vim /etc/nginx/conf.d/od.com.conf

upstream default_backend_traefik {
    server 10.4.7.21:81    max_fails=3 fail_timeout=10s;
    server 10.4.7.22:81    max_fails=3 fail_timeout=10s;
}
server {
    server_name *.od.com;     #用泛域名匹配，這樣新增了二級域名nginx配置不用加了
  
    location / {
        proxy_pass http://default_backend_traefik;
        proxy_set_header Host       $http_host;
        proxy_set_header x-forwarded-for $proxy_add_x_forwarded_for;
    }
}

 

測試： 瀏覽器訪問 http://traefik.od.com/dashboard/