基於Kubernetes實現前后端應用的金絲雀發布

基於Kubernetes實現前后端應用的金絲雀發布

公司的研發管理平台實現了Gitlab+Kubernetes的Devops，在ToB和ToC場景中，由於用戶量大，且預發布環境和生產環境或多或少存在差異，使得生產環境發布版本的時候還是存在很多不確定性和很大的風險。於是需求方就提出了支持金絲雀發布的需求，金絲雀發布方案有很多，以下為兩種常用的方案。

1、Deployment滾動更新策略實現金絲雀發布

利用Deployment的滾動更新策略maxSurge和maxUnavailable設置最大可超期望的節點數和最大不可用節點數可實現簡單的金絲雀發布。
rollingUpdate.maxSurge最大可超期望的節點數，百分比 10% 或者絕對數值 5
rollingUpdate.maxUnavailable最大不可用節點數，百分比或者絕對數值

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
    name: demo-deployment
    namespace: default
spec:
  replicas: 10
  selector:
    matchLabels:
      name: hello-deployment
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 10%
      maxUnavailable: 0     
  template:
    metadata:
      labels:
        name: demo-deployment
    spec:
      containers:
      - name: webserver
        image: nginx:1.14
        ports:
        - containerPort:80

此方案只適合單個應用的金絲雀發布，如果是前后端應用就不合適了，會出現前端正常版本調用后端金絲雀版本，或者前端金絲雀版本調用后端正常版本的情況。於是乎，Pass掉此方案，另尋他路。

2、Ingress-Nginx配置Ingress Annotations實現金絲雀發布

Ingress-Nginx 支持配置 Ingress Annotations 來實現不同場景下的金絲雀發布。Nginx Annotations 支持以下 4 種 Canary 規則：

• nginx.ingress.kubernetes.io/canary-by-header：基於 Request Header 的流量切分，適用於灰度發布以及 A/B 測試。當 Request Header 設置為 always時，請求將會被一直發送到 Canary 版本；當 Request Header 設置為 never時，請求不會被發送到 Canary 入口；對於任何其他 Header 值，將忽略 Header，並通過優先級將請求與其他金絲雀規則進行優先級的比較。
• nginx.ingress.kubernetes.io/canary-by-header-value：要匹配的 Request Header 的值，用於通知 Ingress 將請求路由到 Canary Ingress 中指定的服務。當 Request Header 設置為此值時，它將被路由到 Canary 入口。該規則允許用戶自定義 Request Header 的值，必須與上一個 annotation (即：canary-by-header）一起使用。
• nginx.ingress.kubernetes.io/canary-weight：基於服務權重的流量切分，適用於藍綠部署，權重范圍 0 - 100 按百分比將請求路由到 Canary Ingress 中指定的服務。權重為 0 意味着該金絲雀規則不會向 Canary 入口的服務發送任何請求。權重為 100 意味着所有請求都將被發送到 Canary 入口。
• nginx.ingress.kubernetes.io/canary-by-cookie：基於 Cookie 的流量切分，適用於灰度發布與 A/B 測試。用於通知 Ingress 將請求路由到 Canary Ingress 中指定的服務的cookie。當 cookie 值設置為 always時，它將被路由到 Canary 入口；當 cookie 值設置為 never時，請求不會被發送到 Canary 入口；對於任何其他值，將忽略 cookie 並將請求與其他金絲雀規則進行優先級的比較。
  
  注意：金絲雀規則按優先順序進行如下排序：
  canary-by-header - > canary-by-cookie - > canary-weight
  很顯然canary-weight也是一種隨機策略，也會導致前端正常版本調用后端金絲雀版本的情況，故Pass掉此策略。
  canary-by-cookie和canary-by-header-value適合后端金絲雀發布實現，canary-by-cookie適合前端金絲雀發布實現。

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: demo-canary
  annotations:    
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/canary: "true"
    nginx.ingress.kubernetes.io/canary-by-header: "canary"
    nginx.ingress.kubernetes.io/canary-by-cookie: "canary"
spec:
  rules:
  - host: demo-api.fulu.com
    http:
      paths:
      - backend:
          serviceName: demo-api-canary
          servicePort: 80

前端根據用戶標簽或者手動在瀏覽器中設置cookie的值canary=always，前端代碼如果檢測到此cookie，則傳遞canary=always的請求頭到后端，那么就可以實現前端正常版本訪問后端正常版本，或者前端金絲雀版本訪問后端金絲雀版本，不會出現版本混淆的情況。

2.1 流程

• 如果是第一次發布，必須是正常版本。
• 如果發布金絲雀版本，則先檢測是否有-canary后綴的ingress、service、deployment，如果有則替換金絲雀版本的鏡像，如果沒有則創建-canary后綴的ingress、service、deployment。
• 如果發布正常版本，則先檢測是否有-canary后綴的ingress、service、deployment，如果有則先刪除它們，再替換正常版本的鏡像。
  

2.2 代碼

前端代碼改造

以React為例，修改axios請求攔截器，從cookie中獲取當前是否訪問金絲雀版本，如果是，傳遞金絲雀版本請求頭給后端服務。

import cookie from 'react-cookies'

axios.interceptors.request.use(
  (config) => {
    // 金絲雀版本
    const canaryCookie = cookie.load('canary')
    if (canaryCookie !== undefined) {
      config.headers.canary = canaryCookie
}
return config
  },
  (error) => {
    return Promise.reject(error)
  }
)

后端代碼改造

以.Net為例，通過代理透傳canary請求頭到其他Api服務

public class CanaryHttpMessageHandler : DelegatingHandler
{
    private readonly IHttpContextAccessor _httpContextAccessor;
    private const string Canary = "canary";
    public CanaryHttpMessageHandler(IHttpContextAccessor httpContextAccessor)
    {
        _httpContextAccessor = httpContextAccessor;
    }
    protected override async Task<HttpResponseMessage> SendAsync(HttpRequestMessage request, 
CancellationToken cancellationToken)
    {
        var headers = _httpContextAccessor?.HttpContext?.Request?.Headers;
        if (headers != null && headers.ContainsKey(Canary))
        {
            // 透傳請求頭canary
            var canary = headers[Canary].ToString() ?? "";
            if (!string.IsNullOrWhiteSpace(canary))
                request.Headers.TryAddWithoutValidation(Canary, canary);
        }
        return await base.SendAsync(request, cancellationToken);
    }
}

前端Chrome測試

使用Chrome瀏覽器訪問前端網站F12，在Console中輸入document.cookie='canary =
always'手動設置canary的cookie值。

在Cookies中可以看到設置，此時訪問前端網站為灰度版本。

如果刪除canary的cookie，此時訪問前端網站為正常版本

后端Postman測試

使用Postman訪問后端接口，在請求頭中輸入canary = always。此時訪問后端服務為灰度版本。

如果刪除canary的請求頭，此時訪問后端服務為正常版本

最后

總體來說Ingress Annotations實現了我們的需求，如果要進一步的實現用戶標簽來確定用戶是否訪問金絲雀版本，還需要繼續迭代，難度不大。就實現金絲雀發布來說，istio也是支持的，它是屬於基礎設施層面的，對於代碼入侵性小，后續大家可以考慮一下。另外，由於時間倉促，寫得不太細致，但是核心的思想和代碼都在上面，希望可以給大家帶來幫助！

福祿·研發中心 福小皮