Kubectl 常用操作

Kubectl 常用操作

1. 如何查找非 running 狀態的 Pod 呢？

kubectl get pods -A --field-selector=status.phase!=Running | grep -v Complete

2. 如何查找 running 狀態的 Pod 呢？

kubectl get pods -A --field-selector=status.phase=Running | grep -v Complete

3. 批量設置Deployf副本數

kubectl get deploy -n "命名空間" | awk '{if (NR>1){print $1}}'| xargs -I {} kubectl scale deploy {}  --replicas=1 -n "命名空間"

4. 批量刪掉pod

kubectl get pods -n "命名空間" | awk '{print $1}' | xargs kubectl delete pod -n "命名空間"

5. 批量刪除job

kubectl get pods -n "命名空間"  | grep OutOfcpu | awk '{print $1}' | xargs kubectl delete pod -n "命名空間" 

6.Terminating可使用kubectl中的強制刪除命令

kubectl delete pod "pod名稱" -n "命名空間"--force --grace-period=0

7. 強制刪除NAMESPACE

kubectl delete namespace NAMESPACENAME --force --grace-period=0

使用 kubectl top 獲取 Pod 列表並根據其消耗的 CPU 或 內存進行排序

# 獲取 cpu
kubectl top pod -A | sort --reverse --key 3 --numeric

# 獲取 memory
kubectl top pod -A | sort --reverse --key 4 --numeric

基礎命令create，delete，get，run，expose，set，explain，edit

create 命令：根據文件或者輸入來創建資源

# 創建Deployment和Service資源

$ kubectl create -f demo-deployment.yaml
$ kubectl create -f demo-service.yaml

get 命令 ：獲得資源信息

# 查看所有的資源信息
$ kubectl get all
$ kubectl get --all-namespaces

# 查看pod列表
$ kubectl get pod

# 顯示pod節點的標簽信息
$ kubectl get pod --show-labels

# 根據指定標簽匹配到具體的pod
$ kubectl get pods -l app=example

# 查看node節點列表
$ kubectl get node 

# 顯示node節點的標簽信息
$ kubectl get node --show-labels

# 查看pod詳細信息，也就是可以查看pod具體運行在哪個節點上（ip地址信息）
$ kubectl get pod -o wide

# 查看服務的詳細信息，顯示了服務名稱，類型，集群ip，端口，時間等信息
$ kubectl get svc
$ kubectl get svc -n kube-system

# 查看命名空間
$ kubectl get ns
$ kubectl get namespaces

# 查看所有pod所屬的命名空間
$ kubectl get pod --all-namespaces

# 查看所有pod所屬的命名空間並且查看都在哪些節點上運行
$ kubectl get pod --all-namespaces  -o wide

# 查看目前所有的replica set，顯示了所有的pod的副本數，以及他們的可用數量以及狀態等信息
$ kubectl get rs

# 查看已經部署了的所有應用，可以看到容器，以及容器所用的鏡像，標簽等信息
$ kubectl get deploy -o wide
$ kubectl get deployments -o wide

run 命令：在集群中創建並運行一個或多個容器鏡像

基本語法
run NAME --image=image [--env="key=value"] [--port=port] [--replicas=replicas] [--dry-run=bool] [--overrides=inline-json] [--command] -- [COMMAND] [args...]

# 示例，運行一個名稱為nginx，副本數為3，標簽為app=example，鏡像為nginx:1.10，端口為80的容器實例
kubectl run nginx --replicas=3 --labels="app=example" --image=nginx:1.10 --port=80
其他用法參見：http://docs.kubernetes.org.cn/468.html

# 示例，運行一個名稱為nginx，副本數為3，標簽為app=example，鏡像為nginx:1.10，端口為80的容器實例，並綁定到k8s-node1上
$ kubectl run nginx --image=nginx:1.10 --replicas=3 --labels="app=example" --port=80 --overrides='{"apiVersion":"apps/v1","spec":{"template":{"spec":{"nodeSelector":{"kubernetes.io/hostname":"k8s-node1"}}}}}'

expose 命令
創建一個service服務，並且暴露端口讓外部可以訪問

# 創建一個nginx服務並且暴露端口讓外界可以訪問

$ kubectl expose deployment nginx --port=88 --type=NodePort --target-port=80 --name=nginx-service

更多expose詳細用法參見：http://docs.kubernetes.org.cn/475.html

set 命令
配置應用的一些特定資源，也可以修改應用已有的資源

使用 kubectl set --help查看，它的子命令，env，image，resources，selector，serviceaccount，subject。
語法：resources (-f FILENAME | TYPE NAME) ([--limits=LIMITS & --requests=REQUESTS]

set 命令詳情參見：http://docs.kubernetes.org.cn/669.html

kubectl set resources 命令
這個命令用於設置資源的一些范圍限制。
資源對象中的Pod可以指定計算資源需求（CPU-單位m、內存-單位Mi），即使用的最小資源請求（Requests），限制（Limits）的最大資源需求，Pod將保證使用在設置的資源數量范圍。
對於每個Pod資源，如果指定了Limits（限制）值，並省略了Requests（請求），則Requests默認為Limits的值。
可用資源對象包括(支持大小寫)：replicationcontroller、deployment、daemonset、job、replicaset。

# 將deployment的nginx容器cpu限制為“200m”，將內存設置為“512Mi”
$ kubectl set resources deployment nginx -c=nginx --limits=cpu=200m,memory=512Mi

# 設置所有nginx容器中 Requests和Limits
$ kubectl set resources deployment nginx --limits=cpu=200m,memory=512Mi --requests=cpu=100m,memory=256Mi

# 刪除nginx中容器的計算資源值
$ kubectl set resources deployment nginx --limits=cpu=0,memory=0 --requests=cpu=0,memory=0

kubectl set selector 命令
設置資源的 selector（選擇器）。如果在調用"set selector"命令之前已經存在選擇器，則新創建的選擇器將覆蓋原來的選擇器。
selector必須以字母或數字開頭，最多包含63個字符，可使用：字母、數字、連字符" - " 、點"."和下划線" _ "。如果指定了--resource-version，則更新將使用此資源版本，否則將使用現有的資源版本。
注意：目前selector命令只能用於Service對象。

語法：selector (-f FILENAME | TYPE NAME) EXPRESSIONS [--resource-version=version]

kubectl set image 命令
用於更新現有資源的容器鏡像。
可用資源對象包括：pod (po)、replicationcontroller (rc)、deployment (deploy)、daemonset (ds)、job、replicaset (rs)。

語法：image (-f FILENAME | TYPE NAME) CONTAINER_NAME_1=CONTAINER_IMAGE_1 ... CONTAINER_NAME_N=CONTAINER_IMAGE_N

# 將deployment中的nginx容器鏡像設置為“nginx：1.9.1”
$ kubectl set image deployment/nginx busybox=busybox nginx=nginx:1.9.1

# 所有deployment和rc的nginx容器鏡像更新為“nginx：1.9.1”
$ kubectl set image deployments,rc nginx=nginx:1.9.1 --all

# 將daemonset abc的所有容器鏡像更新為“nginx：1.9.1”
$ kubectl set image daemonset abc *=nginx:1.9.1

# 從本地文件中更新nginx容器鏡像
$ kubectl set image -f path/to/file.yaml nginx=nginx:1.9.1 --local -o yaml

explain 命令
用於顯示資源文檔信息

$ kubectl explain rs

edit命令
用於編輯資源信息

# 編輯Deployment nginx的一些信息
$ kubectl edit deployment nginx

# 編輯service類型的nginx的一些信息
$ kubectl edit service/nginx

設置命令：label，annotate，completion

label命令
用於更新（增加、修改或刪除）資源上的 label（標簽）

• label 必須以字母或數字開頭，可以使用字母、數字、連字符、點和下划線，最長63個字符。
• 如果--overwrite 為 true，則可以覆蓋已有的 label，否則嘗試覆蓋 label 將會報錯。
• 如果指定了--resource-version，則更新將使用此資源版本，否則將使用現有的資源版本。

語法：label [--overwrite] (-f FILENAME | TYPE NAME) KEY_1=VAL_1 ... KEY_N=VAL_N [--resource-version=version]

# 給名為foo的Pod添加label unhealthy=true
$ kubectl label pods foo unhealthy=true

# 給名為foo的Pod修改label 為 'status' / value 'unhealthy'，且覆蓋現有的value
$ kubectl label --overwrite pods foo status=unhealthy

# 給 namespace 中的所有 pod 添加 label
$ kubectl label  pods --all status=unhealthy

# 僅當resource-version=1時才更新 名為foo的Pod上的label
$ kubectl label pods foo status=unhealthy --resource-version=1

# 刪除名為“bar”的label 。（使用“ - ”減號相連）
$ kubectl label pods foo bar-

annotate命令

• 更新一個或多個資源的Annotations信息。也就是注解信息，可以方便的查看做了哪些操作。
• Annotations由key/value組成。
• Annotations的目的是存儲輔助數據，特別是通過工具和系統擴展操作的數據，更多介紹在這里。
• 如果--overwrite為true，現有的annotations可以被覆蓋，否則試圖覆蓋annotations將會報錯。
• 如果設置了--resource-version，則更新將使用此resource version，否則將使用原有的resource version。

語法：annotate [--overwrite] (-f FILENAME | TYPE NAME) KEY_1=VAL_1 ... KEY_N=VAL_N [--resource-version=version]

# 更新Pod“foo”，設置annotation “description”的value “my frontend”，如果同一個annotation多次設置，則只使用最后設置的value值
$ kubectl annotate pods foo description='my frontend'

# 根據“pod.json”中的type和name更新pod的annotation
$ kubectl annotate -f pod.json description='my frontend'

# 更新Pod"foo"，設置annotation“description”的value“my frontend running nginx”，覆蓋現有的值
$ kubectl annotate --overwrite pods foo description='my frontend running nginx'

# 更新 namespace中的所有pod
$ kubectl annotate pods --all description='my frontend running nginx'

# 只有當resource-version為1時，才更新pod 'foo'
$ kubectl annotate pods foo description='my frontend running nginx' --resource-version=1

# 通過刪除名為“description”的annotations來更新pod 'foo'。
# 不需要 -overwrite flag。
$ kubectl annotate pods foo description-

completion命令
用於設置 kubectl 命令自動補全

BASH
# 在 bash 中設置當前 shell 的自動補全，要先安裝 bash-completion 包
$ source <(kubectl completion bash)

# 在您的 bash shell 中永久的添加自動補全
$ echo "source <(kubectl completion bash)" >> ~/.bashrc 

ZSH
# 在 zsh 中設置當前 shell 的自動補全
$ source <(kubectl completion zsh)  

# 在您的 zsh shell 中永久的添加自動補全
$ echo "if [ $commands[kubectl] ]; then source <(kubectl completion zsh); fi" >> ~/.zshrc 

kubectl 部署命令：rollout，rolling-update，scale，autoscale

rollout 命令
用於對資源進行管理,可用資源包括：deployments，daemonsets。
history（查看歷史版本）
pause（暫停資源）
resume（恢復暫停資源）
status（查看資源狀態）
undo（回滾版本）

# 語法
$ kubectl rollout SUBCOMMAND

# 回滾到之前的deployment
$ kubectl rollout undo deployment/abc

# 查看daemonet的狀態
$ kubectl rollout status daemonset/foo

rolling-update命令
執行指定ReplicationController的滾動更新。
該命令創建了一個新的RC， 然后一次更新一個pod方式逐步使用新的PodTemplate，最終實現Pod滾動更新，new-controller.json需要與之前RC在相同的namespace下。

語法：rolling-update OLD_CONTROLLER_NAME ([NEW_CONTROLLER_NAME] --image=NEW_CONTAINER_IMAGE | -f NEW_CONTROLLER_SPEC)

# 使用frontend-v2.json中的新RC數據更新frontend-v1的pod
$ kubectl rolling-update frontend-v1 -f frontend-v2.json

# 使用JSON數據更新frontend-v1的pod
$ cat frontend-v2.json | kubectl rolling-update frontend-v1 -f -

# 其他的一些滾動更新
$ kubectl rolling-update frontend-v1 frontend-v2 --image=image:v2

$ kubectl rolling-update frontend --image=image:v2

$ kubectl rolling-update frontend-v1 frontend-v2 --rollback

scale命令
擴容或縮容 Deployment、ReplicaSet、Replication Controller或 Job 中Pod數量
scale也可以指定多個前提條件，如：當前副本數量或 --resource-version ，進行伸縮比例設置前，系統會先驗證前提條件是否成立。這個就是彈性伸縮策略。

語法：kubectl scale [--resource-version=version] [--current-replicas=count] --replicas=COUNT (-f FILENAME | TYPE NAME)

# 將名為foo中的pod副本數設置為3。
$ kubectl scale --replicas=3 rs/foo
kubectl scale deploy/nginx --replicas=30

# 將由“foo.yaml”配置文件中指定的資源對象和名稱標識的Pod資源副本設為3
$ kubectl scale --replicas=3 -f foo.yaml

# 如果當前副本數為2，則將其擴展至3。
$ kubectl scale --current-replicas=2 --replicas=3 deployment/mysql

# 設置多個RC中Pod副本數量
$ kubectl scale --replicas=5 rc/foo rc/bar rc/baz

autoscale命令：這個比scale更加強大，也是彈性伸縮策略 ，它是根據流量的多少來自動進行擴展或者縮容。
指定Deployment、ReplicaSet或ReplicationController，並創建已經定義好資源的自動伸縮器。使用自動伸縮器可以根據需要自動增加或減少系統中部署的pod數量

語法：kubectl autoscale (-f FILENAME | TYPE NAME | TYPE/NAME) [--min=MINPODS] --max=MAXPODS [--cpu-percent=CPU] [flags]

# 使用 Deployment “foo”設定，使用默認的自動伸縮策略，指定目標CPU使用率，使其Pod數量在2到10之間
$ kubectl autoscale deployment foo --min=2 --max=10

# 使用RC“foo”設定，使其Pod的數量介於1和5之間，CPU使用率維持在80％
$ kubectl autoscale rc foo --max=5 --cpu-percent=80

集群管理命令：certificate，cluster-info，top，cordon，uncordon，drain，taint

certificate命令
用於證書資源管理，授權等

[root@master ~]# kubectl certificate --help
Modify certificate resources.

Available Commands:
  approve     Approve a certificate signing request
  deny        Deny a certificate signing request

Usage:
  kubectl certificate SUBCOMMAND [options]

Use "kubectl <command> --help" for more information about a given command.
Use "kubectl options" for a list of global command-line options (applies to all commands).

# 例如，當有node節點要向master請求，那么是需要master節點授權的
kubectl  certificate approve node-csr-81F5uBehyEyLWco5qavBsxc1GzFcZk3aFM3XW5rT3mw node-csr-Ed0kbFhc_q7qx14H3QpqLIUs0uKo036O2SnFpIheM18

cluster-info 命令
顯示集群信息

$ kubectl cluster-info

top命令
用於查看資源CPU，內存磁盤等資源的使用率

kubectl top pod --all-namespaces
它需要heapster運行才行

cordon命令：用於標記某個節點不可調度

kubectl cordon NODE

uncordon命令：用於標簽節點可以調度

kubectl uncordon NODE

drain命令： 用於在維護期間排除節點。

kubectl drain Node --force

taint命令：用於給某個Node節點設置污點

語法：$ kubectl taint NODE NAME KEY_1=VAL_1:TAINT_EFFECT_1 ... KEY_N=VAL_N:TAINT_EFFECT_N

用帶有鍵“專用”和值“特殊用戶”的污點更新節點“ foo”，並效果為“ NoSchedule”。＃如果已經存在具有該鍵和效果的污點，則將其值替換為指定的值。
kubectl taint nodes foo dedicated=special-user:NoSchedule

從節點“ foo”中刪除帶有鍵“專用”的污點，並在存在的情況下影響“ NoSchedule”。
kubectl taint nodes foo dedicated:NoSchedule-

從節點“ foo”中刪除鍵為“專用”的所有污點
kubectl taint nodes foo dedicated-

在標簽為mylabel = X的節點上添加鍵為“專用”的污點
kubectl taint node -l myLabel=X  dedicated=foo:PreferNoSchedule

向節點“ foo”添加帶有鍵“ bar”且無值的污點
kubectl taint nodes foo bar:NoSchedule

集群故障排查和調試命令：describe，logs，exec，attach，port-foward，proxy，cp，auth

describe命令：顯示特定資源的詳細信息

語法：kubectl describe TYPE NAME_PREFIX
（首先檢查是否有精確匹配TYPE和NAME_PREFIX的資源，如果沒有，將會輸出所有名稱以NAME_PREFIX開頭的資源詳細信息）
支持的資源包括但不限於（大小寫不限）：pods (po)、services (svc)、 replicationcontrollers (rc)、nodes (no)、events (ev)、componentstatuses (cs)、 limitranges (limits)、persistentvolumes (pv)、persistentvolumeclaims (pvc)、 resourcequotas (quota)和secrets。

#查看my-nginx pod的詳細狀態
kubectl describe po my-nginx

logs命令：用於在一個pod中打印一個容器的日志，如果pod中只有一個容器，可以省略容器名

語法：kubectl logs [-f] [-p] POD [-c CONTAINER]

# 返回僅包含一個容器的pod nginx的日志快照
$ kubectl logs nginx
# 返回pod ruby中已經停止的容器web-1的日志快照
$ kubectl logs -p -c ruby web-1
# 持續輸出pod ruby中的容器web-1的日志
$ kubectl logs -f -c ruby web-1
# 僅輸出pod nginx中最近的20條日志
$ kubectl logs --tail=20 nginx
# 輸出pod nginx中最近一小時內產生的所有日志
$ kubectl logs --since=1h nginx

參數選項
-c, --container="": 容器名。
-f, --follow[=false]: 指定是否持續輸出日志（實時日志）。
--interactive[=true]: 如果為true，當需要時提示用戶進行輸入。默認為true。
--limit-bytes=0: 輸出日志的最大字節數。默認無限制。
-p, --previous[=false]: 如果為true，輸出pod中曾經運行過，但目前已終止的容器的日志。
--since=0: 僅返回相對時間范圍，如5s、2m或3h，之內的日志。默認返回所有日志。只能同時使用since和since-time中的一種。
--since-time="": 僅返回指定時間（RFC3339格式）之后的日志。默認返回所有日志。只能同時使用since和since-time中的一種。
--tail=-1: 要顯示的最新的日志條數。默認為-1，顯示所有的日志。
--timestamps[=false]: 在日志中包含時間戳。

exec命令：進入容器進行交互，在容器中執行命令

語法：kubectl exec POD [-c CONTAINER] -- COMMAND [args...]

命令選項：

• -c, --container="": 容器名。如果未指定，使用pod中的一個容器。
• -p, --pod="": Pod名。
• -i, --stdin[=false]: 將控制台輸入發送到容器。
• -t, --tty[=false]: 將標准輸入控制台作為容器的控制台輸入。

# 進入nginx容器，執行一些命令操作
kubectl exec -it nginx-deployment-58d6d6ccb8-lc5fp bash

attach命令：連接到一個正在運行的容器。

語法：kubectl attach POD -c CONTAINER

參數選項：

• -c, --container="": 容器名。如果省略，則默認選擇第一個 pod。
• -i, --stdin[=false]: 將控制台輸入發送到容器。
• -t, --tty[=false]: 將標准輸入控制台作為容器的控制台輸入。

# 獲取正在運行中的pod 123456-7890的輸出，默認連接到第一個容器
$ kubectl attach 123456-7890

# 獲取pod 123456-7890中ruby-container的輸出
$ kubectl attach 123456-7890 -c ruby-container

# 切換到終端模式，將控制台輸入發送到pod 123456-7890的ruby-container的“bash”命令，並將其輸出到控制台/
# 錯誤控制台的信息發送回客戶端。
$ kubectl attach 123456-7890 -c ruby-container -i -t

cp命令：拷貝文件或者目錄到pod容器中
用於pod和外部的文件交換,類似於docker 的cp，就是將容器中的內容和外部的內容進行交換。

語法：kubectl cp

將/tmp/foo_dir本地目錄復制到默認名稱空間中的遠程pod中的/tmp/bar_dir
kubectl cp /tmp/foo_dir <some-pod>:/tmp/bar_dir

將/tmp/foo本地文件復制到特定容器中遠程pod的/tmp/bar中
kubectl cp /tmp/foo <some-pod>:/tmp/bar -c <specific-container>

將/tmp/foo本地文件復制到命名空間中遠程pod的/ tmp/bar中
kubectl cp /tmp/foo <some-namespace>/<some-pod>:/tmp/bar
 
將/tmp/foo從遠程Pod復制到本地/tmp/bar
kubectl cp <some-namespace>/<some-pod>:/tmp/foo /tmp/bar

參考
https://www.jianshu.com/p/304c629d127c
https://kubernetes.io/docs/reference/generated/kubectl/kubectl-commands#create
https://kubernetes.io/zh/docs/reference/kubectl/cheatsheet