【K8s任務】使用 crictl 對 Kubernetes 節點進行調試

參考：https://kubernetes.io/zh/docs/tasks/debug-application-cluster/crictl/

FEATURE STATE: Kubernetes v1.11 [stable]

crictl 是 CRI 兼容的容器運行時命令行接口。 你可以使用它來檢查和調試 Kubernetes 節點上的容器運行時和應用程序。 crictl 和它的源代碼在 cri-tools（https://github.com/kubernetes-sigs/cri-tools） 代碼庫。

安裝 crictl

你可以從 cri-tools（https://github.com/kubernetes-sigs/cri-tools/releases） 發布頁面 下載一個壓縮的 crictl 歸檔文件，用於幾種不同的架構。 下載與你的 kubernetes 版本相對應的版本。 提取它並將其移動到系統路徑上的某個位置，例如/usr/local/bin/。

一般用法

crictl 命令有幾個子命令和運行時參數。 有關詳細信息，請使用 crictl help 或 crictl help 獲取幫助信息。

crictl 默認連接到 unix:///var/run/dockershim.sock。 對於其他的運行時，你可以用多種不同的方法設置端點：

• 通過設置參數 --runtime-endpoint 和 --image-endpoint
• 通過設置環境變量 CONTAINER_RUNTIME_ENDPOINT 和 IMAGE_SERVICE_ENDPOINT
• 通過在配置文件中設置端點 --config=/etc/crictl.yaml

你還可以在連接到服務器並啟用或禁用調試時指定超時值，方法是在配置文件中指定 timeout 或 debug 值，或者使用 --timeout 和 --debug 命令行參數。

要查看或編輯當前配置，請查看或編輯 /etc/crictl.yaml 的內容。

cat /etc/crictl.yaml

runtime-endpoint: unix:///var/run/dockershim.sock
image-endpoint: unix:///var/run/dockershim.sock
timeout: 10
debug: true

crictl 命令示例

警告：如果使用 crictl 在正在運行的 Kubernetes 集群上創建 Pod 沙盒或容器， kubelet 最終將刪除它們。 crictl 不是一個通用的工作流工具，而是一個對調試有用的工具。

打印 Pod 清單

打印所有 Pod 的清單：

crictl pods

POD ID              CREATED              STATE               NAME                         NAMESPACE           ATTEMPT
926f1b5a1d33a       About a minute ago   Ready               sh-84d7dcf559-4r2gq          default             0
4dccb216c4adb       About a minute ago   Ready               nginx-65899c769f-wv2gp       default             0
a86316e96fa89       17 hours ago         Ready               kube-proxy-gblk4             kube-system         0
919630b8f81f1       17 hours ago         Ready               nvidia-device-plugin-zgbbv   kube-system         0

根據名稱打印 Pod 清單：

crictl pods --name nginx-65899c769f-wv2gp

POD ID              CREATED             STATE               NAME                     NAMESPACE           ATTEMPT
4dccb216c4adb       2 minutes ago       Ready               nginx-65899c769f-wv2gp   default             0

根據標簽打印 Pod 清單：

crictl pods --label run=nginx

POD ID              CREATED             STATE               NAME                     NAMESPACE           ATTEMPT
4dccb216c4adb       2 minutes ago       Ready               nginx-65899c769f-wv2gp   default             0

打印鏡像清單

打印所有鏡像清單：

crictl images

IMAGE                                     TAG                 IMAGE ID            SIZE
busybox                                   latest              8c811b4aec35f       1.15MB
k8s-gcrio.azureedge.net/hyperkube-amd64   v1.10.3             e179bbfe5d238       665MB
k8s-gcrio.azureedge.net/pause-amd64       3.1                 da86e6ba6ca19       742kB
nginx                                     latest              cd5239a0906a6       109MB

根據倉庫打印鏡像清單：

crictl images nginx

IMAGE               TAG                 IMAGE ID            SIZE
nginx               latest              cd5239a0906a6       109MB

只打印鏡像 ID：

crictl images -q

sha256:8c811b4aec35f259572d0f79207bc0678df4c736eeec50bc9fec37ed936a472a
sha256:e179bbfe5d238de6069f3b03fccbecc3fb4f2019af741bfff1233c4d7b2970c5
sha256:da86e6ba6ca197bf6bc5e9d900febd906b133eaa4750e6bed647b0fbe50ed43e
sha256:cd5239a0906a6ccf0562354852fae04bc5b52d72a2aff9a871ddb6bd57553569

打印容器清單

打印所有容器清單：

crictl ps -a

CONTAINER ID        IMAGE                                                                                                             CREATED             STATE               NAME                       ATTEMPT
1f73f2d81bf98       busybox@sha256:141c253bc4c3fd0a201d32dc1f493bcf3fff003b6df416dea4f41046e0f37d47                                   7 minutes ago       Running             sh                         1
9c5951df22c78       busybox@sha256:141c253bc4c3fd0a201d32dc1f493bcf3fff003b6df416dea4f41046e0f37d47                                   8 minutes ago       Exited              sh                         0
87d3992f84f74       nginx@sha256:d0a8828cccb73397acb0073bf34f4d7d8aa315263f1e7806bf8c55d8ac139d5f                                     8 minutes ago       Running             nginx                      0
1941fb4da154f       k8s-gcrio.azureedge.net/hyperkube-amd64@sha256:00d814b1f7763f4ab5be80c58e98140dfc69df107f253d7fdd714b30a714260a   18 hours ago        Running             kube-proxy                 0

打印正在運行的容器清單：

crictl ps

CONTAINER ID        IMAGE                                                                                                             CREATED             STATE               NAME                       ATTEMPT
1f73f2d81bf98       busybox@sha256:141c253bc4c3fd0a201d32dc1f493bcf3fff003b6df416dea4f41046e0f37d47                                   6 minutes ago       Running             sh                         1
87d3992f84f74       nginx@sha256:d0a8828cccb73397acb0073bf34f4d7d8aa315263f1e7806bf8c55d8ac139d5f                                     7 minutes ago       Running             nginx                      0
1941fb4da154f       k8s-gcrio.azureedge.net/hyperkube-amd64@sha256:00d814b1f7763f4ab5be80c58e98140dfc69df107f253d7fdd714b30a714260a   17 hours ago        Running             kube-proxy                 0

在正在運行的容器上執行命令

crictl exec -i -t 1f73f2d81bf98 ls

bin   dev   etc   home  proc  root  sys   tmp   usr   var

獲取容器日志

獲取容器的所有日志：

crictl logs 87d3992f84f74

10.240.0.96 - - [06/Jun/2018:02:45:49 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.47.0" "-"
10.240.0.96 - - [06/Jun/2018:02:45:50 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.47.0" "-"
10.240.0.96 - - [06/Jun/2018:02:45:51 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.47.0" "-"

獲取最近的 N 行日志：

crictl logs --tail=1 87d3992f84f74

10.240.0.96 - - [06/Jun/2018:02:45:51 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.47.0" "-"

運行 Pod 沙盒

用 crictl 運行 Pod 沙盒對容器運行時排錯很有幫助。 在運行的 Kubernetes 集群中，沙盒會隨機地被 kubelet 停止和刪除。

    1.編寫下面的 JSON 文件：

    {
        "metadata": {
            "name": "nginx-sandbox",
            "namespace": "default",
            "attempt": 1,
            "uid": "hdishd83djaidwnduwk28bcsb"
        },
        "logDirectory": "/tmp",
        "linux": {
        }
    }

    2.使用 crictl runp 命令應用 JSON 文件並運行沙盒。

    crictl runp pod-config.json

    返回了沙盒的 ID。

創建容器

用 crictl 創建容器對容器運行時排錯很有幫助。 在運行的 Kubernetes 集群中，沙盒會隨機的被 kubelet 停止和刪除。

    1.拉取 busybox 鏡像

    crictl pull busybox
    Image is up to date for busybox@sha256:141c253bc4c3fd0a201d32dc1f493bcf3fff003b6df416dea4f41046e0f37d47

    2.創建 Pod 和容器的配置：

    Pod 配置：

    {
        "metadata": {
            "name": "nginx-sandbox",
            "namespace": "default",
            "attempt": 1,
            "uid": "hdishd83djaidwnduwk28bcsb"
        },
        "log_directory": "/tmp",
        "linux": {
        }
    }

    容器配置：

    {
      "metadata": {
          "name": "busybox"
      },
      "image":{
          "image": "busybox"
      },
      "command": [
          "top"
      ],
      "log_path":"busybox.log",
      "linux": {
      }
    }

    3.創建容器，傳遞先前創建的 Pod 的 ID、容器配置文件和 Pod 配置文件。返回容器的 ID。

    crictl create f84dd361f8dc51518ed291fbadd6db537b0496536c1d2d6c05ff943ce8c9a54f container-config.json pod-config.json

    4.查詢所有容器並確認新創建的容器狀態為 Created。

    crictl ps -a

    CONTAINER ID        IMAGE               CREATED             STATE               NAME                ATTEMPT
    3e025dd50a72d       busybox             32 seconds ago      Created             busybox             0

啟動容器

要啟動容器，要將容器 ID 傳給 crictl start：

crictl start 3e025dd50a72d956c4f14881fbb5b1080c9275674e95fb67f965f6478a957d60

3e025dd50a72d956c4f14881fbb5b1080c9275674e95fb67f965f6478a957d60

確認容器的狀態為 Running。

crictl ps

CONTAINER ID        IMAGE               CREATED              STATE               NAME                ATTEMPT
3e025dd50a72d       busybox             About a minute ago   Running             busybox             0

更多信息請參考 kubernetes-sigs/cri-tools。

Docker CLI 和 crictl 的映射

以下的映射表格只適用於 Docker CLI v1.40 和 crictl v1.19.0 版本。 請注意該表格並不詳盡。例如，其中不包含 Docker CLI 的實驗性命令。

說明： 盡管有些命令的輸出缺少了一些數據列，CRICTL 的輸出格式與 Docker CLI 是類似的。 如果你的腳本程序需要解析命令的輸出，請確認檢查該特定命令的輸出。