作者：萬宏明，KubeSphere member，負責 KubeSphere 安全和多租戶團隊
隨着 K8s 在生產和測試環境中用的越來越多，對安全性的關注也會越來越多，所以本文主要是給大家分享以下內容：
- 了解 K8s 環境面臨的安全風險
- 了解 K8s 提供的安全機制
- 改善 K8s 安全狀況的最佳實踐
1. K8s 安全風險
這張圖是 CNCF 金融用戶小組總結的 K8s 信任邊界圖，它把在 K8s 環境中的信任邊界划分成三大塊兒。
- 容器鏡像相關部分，主要涉及到的安全攻擊點就是鏡像倉庫和鏡像本身。紅色曲線可以被視為獨立邊界的系統。
- K8s 控制平面相關部分，如果說一個攻擊者攻擊你的 K8s 集群的話，首先會攻擊 K8s 的控制平面，中間涉及到的組件就是 K8s 的 apiserver、scheduler 和 controller-manager，所以說這些組件之間調用鏈的安全也需要去注意。
- 節點上運行時的安全，其中包括 kubelet、kube-proxy 和容器運行時環境也容易被攻擊，要避免運行環境被滲透。
我們根據不同的攻擊類型划分，首先最容易規避的就是來自外部的攻擊。通常情況下，來自外部的攻擊會有 2 種類型：
-
一種是系統層面的漏洞，需要及時更新，及時跟進 K8s 社區和安全領域相關的最新消息，可以很好的規避。
-
第二個是應用本身帶來的滲透或者是提權的風險，業務部署在 K8s 之上，應用的漏洞可能造成容器越權或者容器逃逸之類的風險。
借助惡意容器進行攻擊也比較常見，在使用容器的過程種主要會面臨以下風險：
- 使用了不受信任的鏡像倉庫或者是使用了被篡改的容器鏡像會導致惡意代碼被執行。
- 容器執行惡意代碼存在提權或者逃逸的風險。
- 即使容器運行時足夠安全，無法提權或逃逸，內部暴露的服務也容易成為被攻擊的點，造成數據被惡意訪問。
K8s 集群的規模變大，運維人員與終端用戶也會變多，安全憑證的泄露，會對整個集群的安全造成威脅。
即使集群保護的非常好，在安全憑證沒有泄漏的情況下，來自內部成員的惡意攻擊也難以規避，即使是在測試環境也需要一定程度的租戶隔離，避免來自內部的攻擊、對數據的惡意訪問。
2. K8s 安全機制
在 K8s 社區，安全問題的關注度是非常高的，在 K8s 的設計中，各組件都有安全相關的特性。在 API 認證層面，控制平面中各個組件之間，需要開啟 mTLS 進行組件之間的互認證。
K8s 也支持豐富的認證、訪問控制的機制，通常我們會借助 RBAC 對用戶的權限進行限制。
K8s 還提供了針對容器能力的限制機制，我們可以通過 Security Context 去限制容器運行時的用戶、用戶組，對容器特權進行限制。
K8s 中 Pod Security Policy 可以為集群應用安全策略，但是這個特性會在 1.25 之后被后面提到的 pod security admission webhook 替代。這是 K8s 提供的安全策略機制，非常建議大家去深入了解。
我們還可以用到 Resource Quota 結合 request、limit 限制容器的資源用量，盡可能的利用 linux 提供的安全特性，針對網絡、cpu、內存等資源進行用量的限制。Limit Range 可以幫助我們為 Pod 設置默認的資源限制。
除此之外，還可以針對 K8s 集群網絡進行划分，通過 network policy 來支持網絡隔離策略，設置黑名單或者白名單，為 namespace 去分配一獨立的 IP 池。
我們可以借助 K8s 節點調度策略、污點管理，node selector 等機制去限制容器能夠調度的節點，實現一定程度的物理隔離。
K8s 還有一些和安全相關的內容，一個是審計日志，需要在 kube-apiserver 中進行開啟。然后是 Pod Security Admission Webhook，這將是一個新的特性，幫助我們為集群應用安全策略。最后就是和數據安全相關，我們可以借助 KMS 來加密 etcd 中的數據，在容器運行時進行解密。
3. K8s 安全最佳實踐
K8s 安全最佳實踐，大部分都是來自於社區用戶和我們實際生產中環境中的經驗總結。
上圖是 K8s 社區的對雲原生安全的安全總結，在雲原生中主要分四個比較重要的層級：代碼安全、容器安全，K8s 集群安全和雲平台、數據中心的安全。
針對這四個層面的安全問題，有不同的解決策略。
代碼安全往往可以通過以下方式進行應對，比如說應用之間的通訊，盡量使用 TLS 或 mTLS，保證數據的加密傳輸。即使集群中大部分都是可信的環境，TLS 帶來的性能損耗我認為也是在可以承受的范圍之內。
針對代碼安全的增強，通常需要我們在在 CI 或 CD 過程中對代碼進行掃描，對容器鏡像進行掃描，對應用安全進行掃描，即使很多工具會存在誤報的情況，但在大規模的項目中這些步驟是必不可少的。
容器安全方面，我們建議盡可能的使用可信的基礎鏡像，除此之外，盡可能去刪掉不必要的二進制，避免基礎鏡像中操作系統漏洞帶來的影響。
在容器運行的過程中盡可能的使用非 root 用戶，除非是有特定的數據讀寫要求，可能會有一些問題。
- 集群安全
K8s 集群安全層面的建議，首先我們需要整理集群中所有關鍵組件的通訊矩陣，要知道哪些組件會用到哪些端口，比如說 K8s 控制平面常用的 10250,6443 端口等。對系統組件所用到的端口進行合理的管控，通過防火牆來提供最基礎的保障。 - 數據安全
在 K8s 集群中我們可以實現或接入已有的 KMS 服務，對 etcd 中的數據進行加密，在 etcd 數據泄漏的情況下也可以保證集群中 secret 數據的安全。 - 網絡安全
在 K8s 中我們可以借助 Network Policy 實現網絡隔離，常用的網絡插件 calico 和 Cilium 都可以很好的支持。不要開放不必要的端口，不僅是不對外開放端口甚至對於容器內部暴露的端口也要盡可能的去屏蔽。 - 針對所部署的應用安全
盡可能的為每一個部署到 K8s 的容器配置 Security Context，限制容器內的運行用戶和容器特權，禁止其直接讀取或讀寫整個宿主機的網絡和文件。再就是 K8s 針對安全策略的的增強，我們可以利用一些安全策略管理工具如 Gatekeeper，為整個集群運用一些安全策略以抵抗風險。
- 可觀測性部分
不論是限制節點調度，還是配置網絡隔離策略等，這些都是以很被動的方式主動進行防御。在復雜的分布式容器化環境中數據的可見性降低，借助可觀測性工具，我們就可以及時的發現集群中異常，比如異常流量、異常的日志、異常的 API 訪問等，這些對整個系統安全來說顯得尤為重要。借助可觀測性工具，無論是監控數據還是異常日志，都可以幫助我們在第一時間去發現問題，我們可以設置合理的告警策略進行防御。 - 安全策略管理
K8s 集群安全策略，除了在使用過程中規范對使用者的要求，比如限制不可信的鏡像倉庫、特權容器、hostPath 掛載，也可以借助 Gatekeeper 這類安全策略管理工具進行主動的攔截。
KubeSphere 中的安全增強
KubeSphere 是一個構建在 K8s 之上的容器管理平台，我們針對 K8s 安全問題提供了以下增強：
1、借助可觀測性組件增強異常的感知能力。借助日志、監控數據結合告警策略來提高異常感知的能力，增加數據的能見度。
2、支 Network Policy 實現網絡隔離，支持 IP 池的管理。
3、支持接入 Kata Containers 等更安全的運行時。
4、KubeSphere 社區中開源的 KubeEye，是一個可以實現集群自動巡檢的小工具，可以幫助我們掃描集群中存在的安全風險、不合理的配置等。
5、KubeSphere 提供了 Gatekeeper 的集成，並計划提供可視化的管理界面，實現安全策略的管理。
6、在 DevOps 流水線中我們可以集成代碼、鏡像等安全掃描工具。
本文由博客一文多發平台 OpenWrite 發布！