一 Kubernetes概述
Kubernetes是一個全新的基於容器技術的分布式架構領先方案。Kubernetes(k8s)是Google開源的容器集群管理系統（谷歌內部:Borg）。在Docker技術的基礎上，為容器化的應用提供部署運行、資源調度、服務發現和動態伸縮等一系列完整功能，提高了大規模容器集群管理的便捷性。
Kubernetes是一個完備的分布式系統支撐平台，具有完備的集群管理能力，多擴多層次的安全防護和准入機制、多租戶應用支撐能力、透明的服務注冊和發現機制、內建智能負載均衡器、強大的故障發現和自我修復能力、服務滾動升級和在線擴容能力、可擴展的資源自動調度機制以及多粒度的資源配額管理能力。
同時Kubernetes提供完善的管理工具，涵蓋了包括開發、部署測試、運維監控在內的各個環節。
Kubernetes中，Service是分布式集群架構的核心，一個Service對象擁有如下關鍵特征：
- 擁有一個唯一指定的名字
- 擁有一個虛擬IP（Cluster IP、Service IP、或VIP）和端口號
- 能夠提供某種遠程服務能力
- 被映射到了提供這種服務能力的一組容器應用上
Service的服務進程目前都是基於Socket通信方式對外提供服務，比如Redis、Memcache、MySQL、Web Server，或者是實現了某個具體業務的一個特定的TCP Server進程，雖然一個Service通常由多個相關的服務進程來提供服務，每個服務進程都有一個獨立的Endpoint（IP+Port）訪問點，但Kubernetes能夠讓我們通過服務連接到指定的Service上。有了Kubernetes內建的透明負載均衡和故障恢復機制，不管后端有多少服務進程，也不管某個服務進程是否會由於發生故障而重新部署到其他機器，都不會影響我們對服務的正常調用，更重要的是這個Service本身一旦創建就不會發生變化，意味着在Kubernetes集群中，我們不用為了服務的IP地址的變化問題而進行修復。
容器提供了強大的隔離功能，所以有必要把為Service提供服務的這組進程放入容器中進行隔離。為此，Kubernetes設計了Pod對象，將每個服務進程包裝到相對應的Pod中，使其成為Pod中運行的一個容器。為了建立Service與Pod間的關聯管理，Kubernetes給每個Pod貼上一個標簽Label，比如運行MySQL的Pod貼上name=mysql標簽，給運行PHP的Pod貼上name=php標簽，然后給相應的Service定義標簽選擇器Label Selector，這樣就能巧妙的解決了Service於Pod的關聯問題。
Pod運行在一個稱之為節點（Node）的環境中，節點可以是物理機，也可以是虛擬機，通過一個節點運行幾百個Pod；其次每個Pod里運行着一個特殊的稱之為Pause的容器，其他容器則為業務容器，所有業務容器共享Pause容器的網絡棧和Volume掛載卷，因此他們之間的通信和交互更為高效，因此在設計之初可以將一組密切相關聯的服務進程放入同一個Pod中。
在集群管理方面，Kubernetes將集群中的機器划分為一個Master節點和一群工作節點Node，其中，在Master節點運行着集群管理相關的一組進程kube-apiserver、kube-controller-manager和kube-scheduler，這些進程實現了整個集群的資源管理、Pod調度、彈性伸縮、安全控制、系統監控和糾錯等管理能力，並且都是全自動完成的。Node作為集群中的工作節點，運行真正的應用程序，在Node上Kubernetes管理的最小運行單元是Pod。Node上運行着Kubernetes的kubelet、kube-proxy服務進程，這些服務進程負責Pod的創建、啟動、監控、重啟、銷毀以及實現軟件模式的負載均衡器。
在Kubernetes集群中，它解決了傳統IT系統中服務擴容和升級的兩大難題。你只需為需要擴容的Service關聯的Pod創建一個Replication Controller簡稱（RC），則該Service的擴容及后續的升級等問題將迎刃而解。在一個RC定義文件中包括以下3個關鍵信息。
- 目標Pod的定義
- 目標Pod需要運行的副本數量（Replicas）
- 要監控的目標Pod標簽（Label）
在創建好RC后，Kubernetes會通過RC中定義的的Label篩選出對應Pod實例並實時監控其狀態和數量，如果實例數量少於定義的副本數量，則會根據RC中定義的Pod模板來創建一個新的Pod，然后將新Pod調度到合適的Node上啟動運行，直到Pod實例的數量達到預定目標，這個過程完全是自動化。
二 Kubernetes優勢、場景、特點
Kubernetes主要優勢:
- 容器編排
- 輕量級
- 開源
- 彈性伸縮
- 負載均衡
Kubernetes常見場景：
- 快速部署應用
- 快速擴展應用
- 無縫對接新的應用功能
- 節省資源，優化硬件資源的使用
Kubernetes相關特點：
- 可移植: 支持公有雲，私有雲，混合雲，多重雲（multi-cloud）
- 可擴展: 模塊化, 插件化, 可掛載, 可組合
- 自動化: 自動部署，自動重啟，自動復制，自動伸縮/擴展
三 Kubetcl的核心概念
3.1 Master
k8s集群的管理節點，負責管理集群，提供集群的資源數據訪問入口。擁有Etcd存儲服務（可選），運行Api Server進程，Controller Manager服務進程及Scheduler服務進程，關聯工作節點Node。
- Kubernetes API server提供HTTP Rest接口的關鍵服務進程，是Kubernetes里所有資源的增、刪、改、查等操作的唯一入口。也是集群控制的入口進程；
- Kubernetes Controller Manager是Kubernetes所有資源對象的自動化控制中心；
- Kubernetes Schedule是負責資源調度（Pod調度）的進程。
3.2 Node
Node是Kubernetes集群架構中運行Pod的服務節點（亦叫agent或minion）。Node是Kubernetes集群操作的單元，用來承載被分配Pod的運行，是Pod運行的宿主機。關聯Master管理節點，擁有名稱和IP、系統資源信息。運行docker eninge服務，守護進程kunelet及負載均衡器kube-proxy.
每個Node節點都運行着以下一組關鍵進程
- kubelet：負責對Pod對於的容器的創建、啟停等任務，同時與Master節點協作，實現集群管理的基本功能；
- kube-proxy：實現Kubernetes Service的通信與負載均衡機制的重要組件；
- Docker Engine（Docker）：Docker引擎，負責本機容器的創建和管理工作。
Node節點可以在運行期間動態增加到Kubernetes集群中，默認情況下，kubelet會想master注冊自己，這也是Kubernetes推薦的Node管理方式，kubelet進程會定時向Master匯報自身情報，如操作系統、Docker版本、CPU和內存，以及有哪些Pod在運行等等，這樣Master可以獲知每個Node節點的資源使用情況，並實現高效均衡的資源調度策略。
3.3 Pod
運行於Node節點上，若干相關容器的組合。Pod內包含的容器運行在同一宿主機上，使用相同的網絡命名空間、IP地址和端口，能夠通過localhost進行通信。Pod是Kurbernetes進行創建、調度和管理的最小單位，它提供了比容器更高層次的抽象，使得部署和管理更加靈活。一個Pod可以包含一個容器或者多個相關容器。
Pod有兩種類型：普通Pod和靜態Pod。后者比較特殊，它並不存在Kubernetes的etcd存儲中，而是存放在某個具體的Node上的一個具體文件中，並且只在此Node上啟動。普通Pod一旦被創建，就會被放入etcd存儲中，隨后會被Kubernetes Master調度到摸個具體的Node上進行綁定，隨后該Pod被對應的Node上的kubelet進程實例化成一組相關的Docker容器並啟動起來，在默認情況下，當Pod里的某個容器停止時，Kubernetes會自動檢測到這個問題並且重啟這個Pod（重啟Pod里的所有容器），如果Pod所在的Node宕機，則會將這個Node上的所有Pod重新調度到其他節點上。
Pod的IP與ContainerPort（容器端口）共同構成了Endpoint，表示此Pod中的一個服務進程對外的通信地址。
每個Pod也可以對其能使用的資源設置相應配額，CPU和內存的數值都為絕對值，CPU通常定義為千分之一單位，如100-300m，表示占用0.1——0.3個CPU，內存通常以字節數表示，如64Mi。
3.4 Label（標簽）
Kubernetes中的任意API對象都是通過Label進行標識，Label的實質是一系列的Key/Value鍵值對，其中key與value可自定義。Label可以附加到各種資源對象上，如Node、Pod、Service、RC等，一個資源對象可以定義任意數量的Label，同一個Label也可以被添加到任意數量的資源對象上去。Label是Replication Controller和Service運行的基礎，二者通過Label來進行關聯Node上運行的Pod,可以通過Label Selector（標簽選擇器）查詢和篩選資源對象。
一些常用的Label如下：
- 版本標簽："release":"stable","release":"canary"......
- 環境標簽："environment":"dev","environment":"qa","environment":"production"
- 架構標簽："tier":"frontend","tier":"backend","tier":"middleware"
- 分區標簽："partition":"customerA","partition":"customerB"
- 質量管控標簽："track":"daily","track":"weekly"
Label相當於我們熟悉的標簽，給某個資源對象定義一個Label就相當於給它大了一個標簽，隨后可以通過Label Selector（標簽選擇器）查詢和篩選擁有某些Label的資源對象，Kubernetes通過這種方式實現了類似SQL的簡單又通用的對象查詢機制。
Label和Label Selector共同構成了Kubernetes系統中最核心的應用模型，是的被管理對象能夠被精細的分組管理，同時實現了整個集群的高可用性。
Label場景：
- kube-Controller進程通過資源對象RC上定義Label Selector來篩選要監控的Pod副本的數量，從而實現副本數量始終符合預期設定的全自動控制流程
- kube-proxy進程通過Service的Label Selector來選擇對應的Pod，自動建立起每個Service島對應Pod的請求轉發路由表，從而實現Service的智能負載均衡
- 通過對某些Node定義特定的Label，並且在Pod定義文件中使用Nodeselector這種標簽調度策略，kuber-scheduler進程可以實現Pod”定向調度“的特性。
3.5 Replication Controller
Replication Controller用來管理Pod的副本，保證集群中存在指定數量的Pod副本。集群中副本的數量大於指定數量，則會停止指定數量之外的多余容器數量，反之，則會啟動少於指定數量個數的容器，保證數量不變。Replication Controller是實現彈性伸縮、動態擴容和滾動升級的核心。
定義RC包括如下幾個部分：
- Pod期待的副本數（replicas）；
- 用於篩選目標Pod的Label Selector；
- 當Pod的副本數小於預期數量時，用於創建Pod的Pod模板（template）。
RC機制：
當定義了RC並提交至Kubernetes集群中之后，Master節點上的Controller Manager組件獲悉，並同時巡檢系統中當前存活的目標Pod，並確保目標Pod實例的數量剛好等於此RC的期望值，若存在過多的Pod副本在運行，系統會停止一些Pod，反之則自動創建一些Pod。
注意：刪除RC並不會影響通過該RC已經創建的Pod。
提示：下一代RC，即Replica Sets與RC唯一的區別是RS支持基於集合的Label selector。
RC特性及場景：
- 通過定義RC實現Pod的創建過程及副本數量自動控制；
- RC里包括完整的Pod定義模板；
- RC通過Label Selector機制實現副本的自動控制；
- 通過改變RC里的Pod副本數量，可以實現Pod的擴容或縮容功能；
- 通過改變RC的Pod模板的鏡像版本，可以實現Pod的滾動升級功能。
3.6 Deployment
Deployment在內部使用了RS來實現目的，Deployment相當於RC的一次升級，其最大的特色為可以隨時獲知當前Pod的部署進度。
Deployment場景：
- 創建一個Deployment對象來生成對應的RS並完成Pod副本的創建過程；
- 檢查Deployment的狀態來看部署動作是否完成（即副本數量是否達到預期值）；
- 更新Deployment以創建新的Pod（比如鏡像升級）；
- 如果當前Deployment不穩定，則回滾到一個早先Deployment版本；
- 掛起或恢復一個Deployment。
3.7 HPA（Horizontal Pod Autoscaler）
Pod的橫向自動擴容，也是Kubernetes的一種資源，通過追蹤分析RC控制的所有Pod目標的負載變化情況，來確定是否需要針對性的調整Pod副本數量。
HPA針對Pod負載的兩種度量方式：
- CPUUtilizationPercentage；
- 應用程序自定義的度量指標。
3.8 Service
Service定義了Pod的邏輯集合和訪問該集合的策略，是真實服務的抽象。Service提供了一個統一的服務訪問入口以及服務代理和發現機制，關聯多個相同Label的Pod，用戶不需要了解后台Pod是如何運行。
外部系統訪問Service的機制：
Kubernetes的三種IP：
- Node IP：Node節點的IP地址
- Pod IP： Pod的IP地址
- Cluster IP：Service的IP地址
首先,Node IP是Kubernetes集群中節點的物理網卡IP地址，所有屬於這個網絡的服務器之間都能通過這個網絡直接通信。這也表明Kubernetes集群之外的節點訪問Kubernetes集群之內的某個節點或者TCP/IP服務的時候，必須通過Node IP進行通信；
其次，Pod IP是每個Pod的IP地址，他是Docker Engine根據docker0網橋的IP地址段進行分配的，通常是一個虛擬的二層網絡；
最后Cluster IP是一個虛擬的IP，但更像是一個偽造的IP網絡，Cluster IP特點：
- Cluster IP僅僅作用於Kubernetes Service這個對象，並由Kubernetes管理和分配P地址；
- Cluster IP無法被ping，他沒有一個“實體網絡對象”來響應；
- Cluster IP只能結合Service Port組成一個具體的通信端口，單獨的Cluster IP不具備通信的基礎，並且他們屬於Kubernetes集群這樣一個封閉的空間。
- Kubernetes集群之內，Node IP網、Pod IP網與Cluster IP網之間的通信，采用的是Kubernetes自己設計的一種區別於常規的IP路由的編程方式的特殊路由規則。
3.9 Volume（存儲卷）
Volume是Pod中能夠被多個容器訪問的共享目錄，Kubernetes中的Volume是定義在Pod上，可以被一個或多個Pod中的容器掛載到某個目錄下。Kubernetes中的Volume與Pod的生命周期相同，與容器的生命周期並無直接關系。Kubernetes的Volume支持多種類型的后端驅動，如glusterfs、ceph。
Volume常見類型：
- emptyDir：為Pod分配到Node的時候創建。無需指定宿主機的目錄文件，為Kubernetes自動分配的目錄。
場景：
臨時空間，用於某些應用程序運行時所需的臨時目錄，且無須永久保存；
長時間任務的中間過程CheckPoint的臨時保存目錄；
一個容器需要從另一個容器中獲取數據的目錄（多容器共享目錄）。
- hostPath：為在Pod上掛載宿主機上的文件或目錄。
場景：
容器應用程序生產的日志文件需要永久保存，可以使用宿主機的高速文件系統進行存儲；
需要訪問宿主機的Docker內部數據結構的容器。可指定hostPath為/var/lib/docker，使容器內部應用直接訪問Docker的文件系統；
提示：若不同Node上具有相同配置的Pod可能因為宿主機的目錄結構不一致從而導致訪問結構不一致。
- NFS：NFS網絡文件系統；
- iSCSI：iSCSI存儲設備；
- flocker；
- rbd：
- glusterfs。
3.10 Namespace（命名空間）
Namespace用於實現多租戶的資源隔離，可將集群內部的資源對象分配到不同的Namespace中，形成邏輯上的不同項目、小組或用戶組，便於不同的Namespace在共享使用整個集群的資源的同時還能被分別管理。
提示：Kubernetes集群在啟動后，會創建一個名為“default”的Namespace，且默認情況下Kubernetes的相關資源，如Pod、RC、Service都將被系統創建到此默認名為default的Namespace中。
3.11 Annotation（注釋）
Annotation類似Label，也使用key/value形式進行定義。Annotation是用戶任意定義的“附加信息”，如電話號碼、負責人、網站等等。
四 Kubernetes 組件簡述
Kubernetes Master控制組件，調度管理整個系統（集群），包含如下組件:
Kubernetes API Server
作為Kubernetes系統的入口，其封裝了核心對象的增刪改查操作，以RESTful API接口方式提供給外部客戶和內部組件調用。維護的REST對象持久化到Etcd中存儲。
Kubernetes Scheduler
為新建立的Pod進行節點(node)選擇(即分配機器)，負責集群的資源調度。組件抽離，可以方便替換成其他調度器。
Kubernetes Controller
負責執行各種控制器，目前已經提供了很多控制器來保證Kubernetes的正常運行。
Replication Controller
管理維護Replication Controller，關聯Replication Controller和Pod，保證Replication Controller定義的副本數量與實際運行Pod數量一致。
Node Controller
管理維護Node，定期檢查Node的健康狀態，標識出(失效|未失效)的Node節點。
Namespace Controller
管理維護Namespace，定期清理無效的Namespace，包括Namesapce下的API對象，比如Pod、Service等。
Service Controller
管理維護Service，提供負載以及服務代理。
EndPoints Controller
管理維護Endpoints，關聯Service和Pod，創建Endpoints為Service的后端，當Pod發生變化時，實時更新Endpoints。
Service Account Controller
管理維護Service Account，為每個Namespace創建默認的Service Account，同時為Service Account創建Service Account Secret。
Persistent Volume Controller
管理維護Persistent Volume和Persistent Volume Claim，為新的Persistent Volume Claim分配Persistent Volume進行綁定，為釋放的Persistent Volume執行清理回收。
Daemon Set Controller
管理維護Daemon Set，負責創建Daemon Pod，保證指定的Node上正常的運行Daemon Pod。
Deployment Controller
管理維護Deployment，關聯Deployment和Replication Controller，保證運行指定數量的Pod。當Deployment更新時，控制實現Replication Controller和 Pod的更新。
Job Controller
管理維護Job，為Jod創建一次性任務Pod，保證完成Job指定完成的任務數目
Pod Autoscaler Controller
實現Pod的自動伸縮，定時獲取監控數據，進行策略匹配，當滿足條件時執行Pod的伸縮動作。
參考：https://blog.csdn.net/qq_35254726/article/details/54233781