k8s kubernetes yml yaml 配置文件語法解析 以及 k8s kubernetes 軟件目錄配置文件說明

k8s kubernetes yml yaml 配置文件語法解析 以及 k8s kubernetes 軟件目錄配置文件說明

k8s kubernetes yml yaml 配置文件語法解析
2019/03/01 陳信
參考:
https://blog.csdn.net/phantom_111/article/details/79427144
https://blog.csdn.net/random_w/article/details/80612881
https://my.oschina.net/gibsonxue/blog/1840887

YAML 基礎
YAML是專門用來寫配置文件的語言,非常簡潔和強大,使用比json更方便.
它實質上是一種通用的數據串行化格式.后文會說明定義YAML文件創建Pod和創建Deployment.

YAML語法規則
大小寫敏感
使用縮進表示層級關系
縮進時不允許使用Tal鍵,只允許使用空格
縮進的空格數目不重要,只要相同層級的元素左側對齊即可
"#" 表示注釋,從這個字符一直到行尾,都會被解析器忽略

Maps 和 Lists
在Kubernetes中,只需要知道兩種結構類型即可：Lists 和 Maps

使用YAML用於K8s的定義帶來的好處包括：
便捷性：不必添加大量的參數到命令行中執行命令
可維護性：YAML文件可以通過源頭控制,跟蹤每次操作
靈活性：YAML可以創建比命令行更加復雜的結構

YAML Maps
Map顧名思義指的是字典,即一個Key:Value 的鍵值對信息.例如：

---

apiVersion: v1
kind: Pod
注：--- 為可選的分隔符 ,當需要在一個文件中定義多個結構的時候需要使用.上述內容表示有兩個鍵apiVersion和kind,分別對應的值為v1和Pod.

Maps的value既能夠對應字符串也能夠對應一個Maps.例如：

apiVersion: v1
kind: Pod
metadata:
name: kube100-site
labels:
app: web
注：上述的YAML文件中,metadata這個KEY對應的值為一個Maps,而嵌套的labels這個KEY的值又是一個Map.實際使用中可視情況進行多層嵌套.

注意：在YAML文件中絕對不要使用tab鍵

YAML Lists
List即列表,說白了就是數組,例如：
args
-beijing
-shanghai
-shenzhen
-guangzhou
可以指定任何數量的項在列表中,每個項的定義以破折號（-）開頭,並且與父元素之間存在縮進.在JSON格式中,表示如下：
{
"args": ["beijing", "shanghai", "shenzhen", "guangzhou"]
}

當然Lists的子項也可以是Maps,Maps的子項也可以是List,例如：

apiVersion: v1
kind: Pod
metadata:
name: kube100-site
labels:
app: web
spec:
containers:
- name: front-end
image: nginx
ports:
- containerPort: 80
- name: flaskapp-demo
image: jcdemo/flaskapp
ports:
- containerPort: 5000

如上述文件所示,定義一個containers的List對象,每個子項都由name、image、ports組成,每個ports都有一個KEY為containerPort的Map組成,轉成JSON格式文件：
{
"apiVersion": "v1",
"kind": "Pod",
"metadata": {
"name": "kube100-site",
"labels": {
"app": "web"
},
},
"spec": {
"containers": [{
"name": "front-end",
"image": "nginx",
"ports": [{
"containerPort": "80"
}]
}, {
"name": "flaskapp-demo",
"image": "jcdemo/flaskapp",
"ports": [{
"containerPort": "5000"
}]
}]
}
}

查看api版本與yaml參數語法
1.kubectl api-versions
kubectl api-versions 查看當前k8s支持哪些api版本

2.kubectl explain Deployment
kubectl explain Deployment.spec 查看用法/幫助手冊(支持多個子項目,用"."表示)
kubectl explain Deployment.spec.template 略
默認情況下，kubectl explain命令只會顯示屬性的一級數據，我們可以使用--recursive參數來顯示整個屬性的數據：
kubectl explain deployment.spec --recursive

3.kubectl api-resources
如果你不太確定可以使用kubectl explain的資源名，可以使用下面的命令來獲取所有資源名稱：
kubectl api-resources
該命令會線上資源名稱的復數形式（比如顯示 deployments 而不是 deployment），還會顯示一個資源的簡寫（比如 deploy），不過不用擔心，我們可以用任意一個名稱來結合kubectl explain命令使用的：
kubectl explain deployments.spec
或者
kubectl explain deployment.spec
或者
kubectl explain deploy.spec

使用YAML創建Pod
創建Pod
下面定義一個普通的Pod文件

apiVersion: v1 # apiVersion：此處值是v1,這個版本號需要根據安裝的Kubernetes版本和資源類型進行變化,記住不是寫死的.
kind: Pod # kind：此處創建的是Pod,根據實際情況,此處資源類型可以是Deployment、Job、Ingress、Service等.
metadata: # metadata：包含Pod的一些meta信息,比如名稱、namespace、標簽等信息.
name: kube100-site
labels:
app: web
spec: # spec：包括一些container,storage,volume以及其他Kubernetes需要的參數,以及諸如是否在容器失敗時重新啟動容器的屬性.可在特定Kubernetes API找到完整的Kubernetes Pod的屬性.
containers:
- name: front-end
image: nginx
ports:
- containerPort: 80
- name: flaskapp-demo
image: jcdemo/flaskapp
ports:
- containerPort: 5000

下面是一個典型的容器的定義：
…
spec:
containers:
- name: front-end
image: nginx
ports:
- containerPort: 80
…
上述例子只是一個簡單的最小定義：一個名字（front-end）、基於nginx的鏡像,以及容器將會監聽的指定端口號（80）.
除了上述的基本屬性外,還能夠指定復雜的屬性,包括容器啟動運行的命令、使用的參數、工作目錄以及每次實例化是否拉取新的副本. 還可以指定更深入的信息,例如容器的退出日志的位置.容器可選的設置屬性包括：
name、image、command、args、workingDir、ports、env、resource、volumeMounts、livenessProbe、readinessProbe、livecycle、terminationMessagePath、imagePullPolicy、securityContext、stdin、stdinOnce、tty

了解了Pod的定義后,將上面創建Pod的YAML文件保存成pod.yaml,然后使用Kubectl創建Pod：
$ kubectl create -f pod.yaml
pod "kube100-site" created
可以使用Kubectl命令查看Pod的狀態
$ kubectl get pods
NAME READY STATUS RESTARTS AGE
kube100-site 2/2 Running 0 1m
注： Pod創建過程中如果出現錯誤,可以使用kubectl describe 進行排查.

創建Deployment
上述介紹了如何使用YAML文件創建Pod實例,但是如果這個Pod出現了故障的話,對應的服務也就掛掉了,所以Kubernetes提供了一個Deployment的概念 ,目的是讓Kubernetes去管理一組Pod的副本,也就是副本集 ,這樣就能夠保證一定數量的副本一直可用,不會因為某一個Pod掛掉導致整個服務掛掉.

下面一個完整的Deployment的YAML文件,可以在Kubernetes v1beta1 API 參考中找到完整的Deployment可指定的參數列表

apiVersion: extensions/v1beta1 # 注意這里apiVersion對應的值是extensions/v1beta1,同時也需要將kind的類型指定為Deployment.
kind: Deployment
metadata: # metadata指定一些meta信息,包括名字或標簽之類的.
name: kube100-site
spec: # spec 選項定義需要兩個副本,此處可以設置很多屬性,例如受此Deployment影響的Pod的選擇器等
replicas: 2
template:
metadata:
labels:
app: web
spec: # spec 選項的template其實就是對Pod對象的定義
containers:
- name: front-end
image: nginx
ports:
- containerPort: 80
- name: flaskapp-demo
image: jcdemo/flaskapp
ports:
- containerPort: 5000

將上述的YAML文件保存為deployment.yaml,然后創建Deployment：
$ kubectl create -f deployment.yaml
deployment "kube100-site" created

可以使用如下命令檢查Deployment的列表：
$ kubectl get deployments
NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE
kube100-site 2 2 2 2 2m

yaml格式的pod定義文件完整內容
apiVersion: v1 #必選，版本號，例如v1
kind: Pod #必選，Pod
metadata: #必選，元數據
name: string #必選，Pod名稱
namespace: string #必選，Pod所屬的命名空間
labels: #自定義標簽
- name: string #自定義標簽名字
annotations: #自定義注釋列表
- name: string
spec: #必選，Pod中容器的詳細定義
containers: #必選，Pod中容器列表

• name: string #必選，容器名稱
  image: string #必選，容器的鏡像名稱
  imagePullPolicy: [Always | Never | IfNotPresent] #獲取鏡像的策略 Alawys表示下載鏡像 IfnotPresent表示優先使用本地鏡像，否則下載鏡像，Nerver表示僅使用本地鏡像
  command: [string] #容器的啟動命令列表，如不指定，使用打包時使用的啟動命令
  args: [string] #容器的啟動命令參數列表
  workingDir: string #容器的工作目錄
  volumeMounts: #掛載到容器內部的存儲卷配置
  • name: string #引用pod定義的共享存儲卷的名稱，需用volumes[]部分定義的的卷名
    mountPath: string #存儲卷在容器內mount的絕對路徑，應少於512字符
    readOnly: boolean #是否為只讀模式
    ports: #需要暴露的端口庫號列表
  • name: string #端口號名稱
    containerPort: int #容器需要監聽的端口號
    hostPort: int #容器所在主機需要監聽的端口號，默認與Container相同
    protocol: string #端口協議，支持TCP和UDP，默認TCP
    env: #容器運行前需設置的環境變量列表
  • name: string #環境變量名稱
    value: string #環境變量的值
    resources: #資源限制和請求的設置
    limits: #資源限制的設置
    cpu: string #Cpu的限制，單位為core數，將用於docker run --cpu-shares參數
    memory: string #內存限制，單位可以為Mib/Gib，將用於docker run --memory參數
    requests: #資源請求的設置
    cpu: string #Cpu請求，容器啟動的初始可用數量
    memory: string #內存清楚，容器啟動的初始可用數量
    livenessProbe: #對Pod內各個容器健康檢查的設置，當探測無響應幾次后將自動重啟該容器，檢查方法有exec、httpGet和tcpSocket，對一個容器只需設置其中一種方法即可
    exec: #對Pod容器內檢查方式設置為exec方式
    command: [string] #exec方式需要制定的命令或腳本
    httpGet: #對Pod內個容器健康檢查方法設置為HttpGet，需要制定Path、port
    path: string
    port: number
    host: string
    scheme: string
    HttpHeaders:
    • name: string
      value: string
      tcpSocket: #對Pod內個容器健康檢查方式設置為tcpSocket方式
      port: number
      initialDelaySeconds: 0 #容器啟動完成后首次探測的時間，單位為秒
      timeoutSeconds: 0 #對容器健康檢查探測等待響應的超時時間，單位秒，默認1秒
      periodSeconds: 0 #對容器監控檢查的定期探測時間設置，單位秒，默認10秒一次
      successThreshold: 0
      failureThreshold: 0
      securityContext:
      privileged:false
      restartPolicy: [Always | Never | OnFailure]#Pod的重啟策略，Always表示一旦不管以何種方式終止運行，kubelet都將重啟，OnFailure表示只有Pod以非0退出碼退出才重啟，Nerver表示不再重啟該Pod
      nodeSelector: obeject #設置NodeSelector表示將該Pod調度到包含這個label的node上，以key：value的格式指定
      imagePullSecrets: #Pull鏡像時使用的secret名稱，以key：secretkey格式指定
  • name: string
    hostNetwork:false #是否使用主機網絡模式，默認為false，如果設置為true，表示使用宿主機網絡
    volumes: #在該pod上定義共享存儲卷列表
  • name: string #共享存儲卷名稱 （volumes類型有很多種）
    emptyDir: {} #類型為emtyDir的存儲卷，與Pod同生命周期的一個臨時目錄。為空值
    hostPath: string #類型為hostPath的存儲卷，表示掛載Pod所在宿主機的目錄
    path: string #Pod所在宿主機的目錄，將被用於同期中mount的目錄
    secret: #類型為secret的存儲卷，掛載集群與定義的secre對象到容器內部
    scretname: string
    items:
    • key: string
      path: string
      configMap: #類型為configMap的存儲卷，掛載預定義的configMap對象到容器內部
      name: string
      items:
    • key: string
      path: string

Deployment部署文件詳解
apiVersion: extensions/v1beta1 #接口版本
kind: Deployment #接口類型
metadata:
name: cango-demo #Deployment名稱
namespace: cango-prd #命名空間
labels:
app: cango-demo #標簽
spec:
replicas: 3
strategy:
rollingUpdate: ##由於replicas為3,則整個升級,pod個數在2-4個之間
maxSurge: 1 #滾動升級時會先啟動1個pod
maxUnavailable: 1 #滾動升級時允許的最大Unavailable的pod個數
template:
metadata:
labels:
app: cango-demo #模板名稱必填
sepc: #定義容器模板，該模板可以包含多個容器
containers:
- name: cango-demo #鏡像名稱
image: swr.cn-east-2.myhuaweicloud.com/cango-prd/cango-demo:0.0.1-SNAPSHOT #鏡像地址
command: [ "/bin/sh","-c","cat /etc/config/path/to/special-key" ] #啟動命令
args: #啟動參數
- '-storage.local.retention=$(STORAGE_RETENTION)'
- '-storage.local.memory-chunks=$(STORAGE_MEMORY_CHUNKS)'
- '-config.file=/etc/prometheus/prometheus.yml'
- '-alertmanager.url=http://alertmanager:9093/alertmanager'
- '-web.external-url=$(EXTERNAL_URL)'
#如果command和args均沒有寫，那么用Docker默認的配置。
#如果command寫了，但args沒有寫，那么Docker默認的配置會被忽略而且僅僅執行.yaml文件的command（不帶任何參數的）。
#如果command沒寫，但args寫了，那么Docker默認配置的ENTRYPOINT的命令行會被執行，但是調用的參數是.yaml中的args。
#如果如果command和args都寫了，那么Docker默認的配置被忽略，使用.yaml的配置。
imagePullPolicy: IfNotPresent #如果不存在則拉取
livenessProbe: #表示container是否處於live狀態。如果LivenessProbe失敗，LivenessProbe將會通知kubelet對應的container不健康了。隨后kubelet將kill掉container，並根據RestarPolicy進行進一步的操作。默認情況下LivenessProbe在第一次檢測之前初始化值為Success，如果container沒有提供LivenessProbe，則也認為是Success；
httpGet:
path: /health #如果沒有心跳檢測接口就為/
port: 8080
scheme: HTTP
initialDelaySeconds: 60 ##啟動后延時多久開始運行檢測
timeoutSeconds: 5
successThreshold: 1
failureThreshold: 5
readinessProbe:
readinessProbe:
httpGet:
path: /health #如果沒有心跳檢測接口就為/
port: 8080
scheme: HTTP
initialDelaySeconds: 30 ##啟動后延時多久開始運行檢測
timeoutSeconds: 5
successThreshold: 1
failureThreshold: 5
resources: ##CPU內存限制
requests:
cpu: 2
memory: 2048Mi
limits:
cpu: 2
memory: 2048Mi
env: ##通過環境變量的方式，直接傳遞pod=自定義Linux OS環境變量
- name: LOCAL_KEY #本地Key
value: value
- name: CONFIG_MAP_KEY #局策略可使用configMap的配置Key，
valueFrom:
configMapKeyRef:
name: special-config #configmap中找到name為special-config
key: special.type #找到name為special-config里data下的key
ports:
- name: http
containerPort: 8080 #對service暴露端口
volumeMounts: #掛載volumes中定義的磁盤
- name: log-cache
mount: /tmp/log
- name: sdb #普通用法，該卷跟隨容器銷毀，掛載一個目錄
mountPath: /data/media
- name: nfs-client-root #直接掛載硬盤方法，如掛載下面的nfs目錄到/mnt/nfs
mountPath: /mnt/nfs
- name: example-volume-config #高級用法第1種，將ConfigMap的log-script,backup-script分別掛載到/etc/config目錄下的一個相對路徑path/to/...下，如果存在同名文件，直接覆蓋。
mountPath: /etc/config
- name: rbd-pvc #高級用法第2中，掛載PVC(PresistentVolumeClaim)

使用volume將ConfigMap作為文件或目錄直接掛載，其中每一個key-value鍵值對都會生成一個文件，key為文件名，value為內容，

volumes: # 定義磁盤給上面volumeMounts掛載

• name: log-cache
  emptyDir: {}
• name: sdb #掛載宿主機上面的目錄
  hostPath:
  path: /any/path/it/will/be/replaced
• name: example-volume-config # 供ConfigMap文件內容到指定路徑使用
  configMap:
  name: example-volume-config #ConfigMap中名稱
  items:
  • key: log-script #ConfigMap中的Key
    path: path/to/log-script #指定目錄下的一個相對路徑path/to/log-script
  • key: backup-script #ConfigMap中的Key
    path: path/to/backup-script #指定目錄下的一個相對路徑path/to/backup-script
• name: nfs-client-root #供掛載NFS存儲類型
  nfs:
  server: 10.42.0.55 #NFS服務器地址
  path: /opt/public #showmount -e 看一下路徑
• name: rbd-pvc #掛載PVC磁盤
  persistentVolumeClaim:
  claimName: rbd-pvc1 #掛載已經申請的pvc磁盤

k8s kubernetes 軟件目錄配置文件說明
2019/03/01 陳信

參考:
https://my.oschina.net/u/2306127/blog/2980162 Kubernetes探秘—配置文件目錄結構
https://k8smeetup.github.io/docs/tasks/administer-cluster/kubelet-config-file/

Kubernetes的配置目錄包括
/etc/kubernetes/ 主要配置目錄
/home/user/.kube/
/var/lib/kubelet/

主要配置目錄 /etc/kubernetes/

master上
[root@ip-10-0-0-105 kubernetes]# tree /etc/kubernetes/
├── admin.conf # 注意conf 與 yaml 文件區別
├── controller-manager.conf
├── kubelet.conf
├── manifests
│ ├── etcd.yaml
│ ├── kube-apiserver.yaml
│ ├── kube-controller-manager.yaml
│ └── kube-scheduler.yaml
├── pki # 證書,密鑰
│ ├── apiserver.crt
│ ├── apiserver-etcd-client.crt
│ ├── apiserver-etcd-client.key
│ ├── apiserver.key
│ ├── apiserver-kubelet-client.crt
│ ├── apiserver-kubelet-client.key
│ ├── ca.crt
│ ├── ca.key
│ ├── etcd
│ │ ├── ca.crt
│ │ ├── ca.key
│ │ ├── healthcheck-client.crt
│ │ ├── healthcheck-client.key
│ │ ├── peer.crt
│ │ ├── peer.key
│ │ ├── server.crt
│ │ └── server.key
│ ├── front-proxy-ca.crt
│ ├── front-proxy-ca.key
│ ├── front-proxy-client.crt
│ ├── front-proxy-client.key
│ ├── sa.key
│ └── sa.pub
└── scheduler.conf

node上
[root@ip-10-0-0-106 ~]# tree /etc/kubernetes/
/etc/kubernetes/
├── bootstrap-kubelet.conf
├── kubelet.conf
├── manifests
└── pki
└── ca.crt

kubernetes用戶配置目錄 /home/centos/.kube/

master上
[centos@ip-10-0-0-105 ~]$ tree /home/centos/.kube/
/home/centos/.kube/
├── cache
│ └── discovery
│ └── 10.0.0.105_6443
│ ├── admissionregistration.k8s.io
│ │ └── v1beta1
│ │ └── serverresources.json
│ ├── apiextensions.k8s.io
│ │ └── v1beta1
│ │ └── serverresources.json
...
│ └── v1
│ └── serverresources.json
├── config
└── http-cache
├── 01bc06f73be10e8d87d9ee6dfd8b2217
├── 02d3387dd6e4aba4f63656f4c1984b78
...
└── fc4785aa1232654e2cb5c3415168eee3

其他node上: 無

kubelet服務的配置目錄 /var/lib/kubelet
每一個ks節點都需要運行kubelet服務。kubelet服務的配置在 /var/lib/kubelet 目錄下

mater上
[root@ip-10-0-0-105 kubelet]# tree
.
├── config.yaml
├── cpu_manager_state
├── device-plugins
│ ├── DEPRECATION
│ ├── kubelet_internal_checkpoint
│ └── kubelet.sock
├── kubeadm-flags.env
├── pki
│ ├── kubelet-client-2019-03-01-11-25-53.pem
│ ├── kubelet-client-2019-03-01-11-26-21.pem
│ ├── kubelet-client-current.pem -> /var/lib/kubelet/pki/kubelet-client-2019-03-01-11-26-21.pem
│ ├── kubelet.crt
│ └── kubelet.key
├── plugin-containers
├── plugins
├── plugins_registry
├── pod-resources
└── pods
├── 2c1838fa-3bd2-11e9-8350-068a71fa5690
│ ├── containers
│ │ ├── install-cni
│ │ │ ├── 0b4b4e10
│ │ │ ├── 19c66877
│ │ │ ├── 35c27ecf
│ │ │ ├── d467aa8a
│ │ │ └── d4b3d4ca
│ │ └── kube-flannel
│ │ ├── 14f96430
│ │ ├── 2532cbe0
│ │ ├── 4f31f687
│ │ ├── 52a0d626
│ │ └── 6a2fea18
│ ├── etc-hosts
│ ├── plugins
│ │ └── kubernetes.io~empty-dir
│ │ ├── wrapped_flannel-cfg
│ │ │ └── ready
│ │ └── wrapped_flannel-token-fn5rf
│ │ └── ready
│ └── volumes
│ ├── kubernetes.io~configmap
│ │ └── flannel-cfg
│ │ ├── cni-conf.json -> ..data/cni-conf.json
│ │ └── net-conf.json -> ..data/net-conf.json
│ └── kubernetes.io~secret
│ └── flannel-token-fn5rf
│ ├── ca.crt -> ..data/ca.crt
│ ├── namespace -> ..data/namespace
│ └── token -> ..data/token
├── 456ea23a46724821ed560a2db7e2d9f3
│ ├── containers
│ │ └── kube-apiserver
│ │ ├── 02f8d87a
│ │ ├── 2d988dc1
│ │ ├── 3302d612
│ │ ├── 46eb2273
│ │ └── 4ff2f287
│ ├── etc-hosts
│ ├── plugins
│ └── volumes
├── 4b52d75cab61380f07c0c5a69fb371d4
│ ├── containers
│ │ └── kube-scheduler
│ │ ├── 12e55ee8
│ │ ├── 20b64878
│ │ ├── 95b02faf
│ │ ├── 9c4b578d
│ │ └── d0764370
│ ├── etc-hosts
│ ├── plugins
│ └── volumes
├── 67337167e3ecf30096ecaf8c003e925a
│ ├── containers
│ │ └── etcd
│ │ ├── 0c97bb0d
│ │ ├── 3df93354
│ │ ├── 884eaf54
│ │ ├── b96335a0
│ │ └── cf847820
│ ├── etc-hosts
│ ├── plugins
│ └── volumes
├── c8a3ca19-3bd1-11e9-8350-068a71fa5690
│ ├── containers
│ │ └── coredns
│ │ ├── 09130d4f
│ │ ├── 4dac82a1
│ │ ├── 601eb4e4
│ │ ├── e3fc3048
│ │ └── fd799c7a
│ ├── etc-hosts
│ ├── plugins
│ │ └── kubernetes.io~empty-dir
│ │ ├── wrapped_config-volume
│ │ │ └── ready
│ │ └── wrapped_coredns-token-l59np
│ │ └── ready
│ └── volumes
│ ├── kubernetes.io~configmap
│ │ └── config-volume
│ │ └── Corefile -> ..data/Corefile
│ └── kubernetes.io~secret
│ └── coredns-token-l59np
│ ├── ca.crt -> ..data/ca.crt
│ ├── namespace -> ..data/namespace
│ └── token -> ..data/token
├── c8a5b8e6-3bd1-11e9-8350-068a71fa5690
│ ├── containers
│ │ └── coredns
│ │ ├── 3e77b789
│ │ ├── 607e8b98
│ │ ├── 68e8f6b8
│ │ ├── 7b0ecb21
│ │ └── b8ea8e88
│ ├── etc-hosts
│ ├── plugins
│ │ └── kubernetes.io~empty-dir
│ │ ├── wrapped_config-volume
│ │ │ └── ready
│ │ └── wrapped_coredns-token-l59np
│ │ └── ready
│ └── volumes
│ ├── kubernetes.io~configmap
│ │ └── config-volume
│ │ └── Corefile -> ..data/Corefile
│ └── kubernetes.io~secret
│ └── coredns-token-l59np
│ ├── ca.crt -> ..data/ca.crt
│ ├── namespace -> ..data/namespace
│ └── token -> ..data/token
├── c8a68d97-3bd1-11e9-8350-068a71fa5690
│ ├── containers
│ │ └── kube-proxy
│ │ ├── 1225589c
│ │ ├── 211e4539
│ │ ├── 27aca4dc
│ │ ├── 3b0a273a
│ │ └── b4305109
│ ├── etc-hosts
│ ├── plugins
│ │ └── kubernetes.io~empty-dir
│ │ ├── wrapped_kube-proxy
│ │ │ └── ready
│ │ └── wrapped_kube-proxy-token-55dm7
│ │ └── ready
│ └── volumes
│ ├── kubernetes.io~configmap
│ │ └── kube-proxy
│ │ ├── config.conf -> ..data/config.conf
│ │ └── kubeconfig.conf -> ..data/kubeconfig.conf
│ └── kubernetes.io~secret
│ └── kube-proxy-token-55dm7
│ ├── ca.crt -> ..data/ca.crt
│ ├── namespace -> ..data/namespace
│ └── token -> ..data/token
└── e0ebd09707c2bc7047d2353e7c72c457
├── containers
│ └── kube-controller-manager
│ ├── 23ee9aed
│ ├── 317117d8
│ ├── 5757d4f9
│ ├── a691a160
│ └── f871dc0c
├── etc-hosts
├── plugins
└── volumes

node上
[root@ip-10-0-0-106 kubelet]# tree
.
├── config.yaml
├── cpu_manager_state
├── device-plugins
│ ├── DEPRECATION
│ ├── kubelet_internal_checkpoint
│ └── kubelet.sock
├── kubeadm-flags.env
├── pki
│ ├── kubelet-client-2019-03-01-11-32-45.pem
│ ├── kubelet-client-current.pem -> /var/lib/kubelet/pki/kubelet-client-2019-03-01-11-32-45.pem
│ ├── kubelet.crt
│ └── kubelet.key
├── plugin-containers
├── plugins
├── plugins_registry
├── pod-resources
└── pods
├── ae1d9bae-3bd2-11e9-8350-068a71fa5690
│ ├── containers
│ │ ├── install-cni
│ │ │ └── 0db99f82
│ │ └── kube-flannel
│ │ └── 74e75121
│ ├── etc-hosts
│ ├── plugins
│ │ └── kubernetes.io~empty-dir
│ │ ├── wrapped_flannel-cfg
│ │ │ └── ready
│ │ └── wrapped_flannel-token-fn5rf
│ │ └── ready
│ └── volumes
│ ├── kubernetes.io~configmap
│ │ └── flannel-cfg
│ │ ├── cni-conf.json -> ..data/cni-conf.json
│ │ └── net-conf.json -> ..data/net-conf.json
│ └── kubernetes.io~secret
│ └── flannel-token-fn5rf
│ ├── ca.crt -> ..data/ca.crt
│ ├── namespace -> ..data/namespace
│ └── token -> ..data/token
└── ae1dd11c-3bd2-11e9-8350-068a71fa5690
├── containers
│ └── kube-proxy
│ └── ad15067b
├── etc-hosts
├── plugins
│ └── kubernetes.io~empty-dir
│ ├── wrapped_kube-proxy
│ │ └── ready
│ └── wrapped_kube-proxy-token-55dm7
│ └── ready
└── volumes
├── kubernetes.io~configmap
│ └── kube-proxy
│ ├── config.conf -> ..data/config.conf
│ └── kubeconfig.conf -> ..data/kubeconfig.conf
└── kubernetes.io~secret
└── kube-proxy-token-55dm7
├── ca.crt -> ..data/ca.crt
├── namespace -> ..data/namespace
└── token -> ..data/token

可以看到啟動參數放到了/var/lib/kubelet .

kubelet.service服務目錄 /etc/systemd/system/kubelet.service
kubelet使用systemd管理，service定義文件位於：
/etc/systemd/system/multi-user.target.wants/kubelet.service -> /etc/systemd/system/kubelet.service

最新的dropin文件位於： /etc/systemd/system/kubelet.service.d
ls /etc/systemd/system/kubelet.service.d/
10-kubeadm.conf