企業級實戰模塊十一：邊緣計算的輕量級K3S

企業級實戰模塊十二：邊緣計算的輕量級K3S

1 K3S的介紹

1.1 介紹

k3s 是 經過CNCF認證的由Rancher公司開發維護的一個輕量級的 Kubernetes 發行版 內核機制還是和k 8s 一樣，但是剔除了很多外部依賴以及 K8s 的 alpha 、beta 特性，同時改變了部署方式和運行方式，目的是輕量化 K8s 簡單來說， K3s就是閹割版 K8s，消耗資源極少 。它主要用於邊緣計算 、物聯網等場景。K3s 具有以下特點

• 安裝簡單， 占用資源少 只需要 512 M 內存就可以運行起來

• apiserver 、 schedule 等組件全部簡化，並以進程的形式運行在節點上 把程序都 打包為單個二進制文件 每個程序只需要占用 1 00M 內存

• 使用基於 sqlite3 的輕量級存儲后端作為默認存儲機制。同時支持使用 etcd3 、 MySQL 和 PostgreSQL作為存儲機制

• 默認使用 local path provisioner 提供本地存儲卷

• 默認安裝了 Helm controller 和 Traefik Ingress controller

• 所有 Kubernetes control plane 組件的操作都封裝在單個二進制文件和進程中，使 K3s 具有自動化和管理包括證書分發在內的復雜集群操作的能力。

• 減少外部依賴，操作系統只需要安裝較新的內核（centos7.6就可以，不需要升級內核）以及支持cgroup即可k3s安裝包已經包含了containerd、Flannel、CoreDNS，非常方便地一鍵式安裝，不需要額外安裝Docker、Flanne等組件。

1）邊緣計算介紹

邊緣計算也稱為邊緣處理，是一種將服務器放置在本地設備附近的 網絡技術 解決數據傳輸的延遲問題。這樣的處理 方式 是在傳感器附近或 者 設備產生數據的位置進行的，因此稱之為邊緣。

“邊緣”特指計算資源在地理分布上更加靠近設備，而遠離雲數據中心的資源節點。典型的邊緣計算分為物聯網（例如：智慧城市，智能家居，大型商店等）和非物聯網（例如：游戲，CDN 等）場景。

舉個例子：原來取錢存錢 ，必須去銀行排隊，那現在我們在住的附近有自動取款機，可以直接取錢，減少了排隊等待時間，還能就近解決，更加安全

2）邊緣計算應用場景

《福布斯》技術委員會的12 位成員研究了一些企業的用例，在這些用例中， 都使用了邊緣計算：

應用一：改進醫療設備性能和數據管理

在醫療場景下，邊緣計算主要幫助醫療保健體系的IT基礎架構，具體來說，是防止醫療設備管理的應用程序發生延遲。在邊緣計算的支持下，無需構建集中的數據中心，可對關鍵數據進行本地化，在安全性、響應速度和有效性上有更佳表現。

應用二：本地零售的實時數據分析

邊緣計算的主要目的，是讓運算盡可能接近數據源。在零售場景中，以往企業都是將各分支的數據匯總到中心位置進行分析，再進行決策和行動。而通過邊緣計算，零售店鋪可以在本地就進行數據處理和優化，這樣組織的行動反饋就能更快更及時。

應用三：消費者數據隱私

處理高度敏感的消費者 數據的公司發現，由於數據泄漏成本高昂，雲計算很危險。因此，許多這類公司 正在將邊緣計算用於處理消費者數據，因為它為他們提供了更多的安全和控制選擇。這可能會使企業工作流程復雜化，但它可以帶來好處，特別是在醫療數據公司中。 Sean Byrnes, Outlier

應用四： 物聯網

物聯網是企業為獲得更好的數據、客戶體驗、現場營銷和更智能的流程而實施的智能的重大轉變。邊緣計算使網絡的運行水平能夠為物聯網提供高性能。接近實時的速度意味着用戶體驗可以非常出色，並且可以為企業帶來更好、更有效的運營。Frank Cit tadino, QOS Networks

應用五： 視頻監控和分析

視頻監控已經部署在邊緣，以及視頻分析。視頻產生的數據是所有其他來源數據總和的 10 倍。這是一個很好的例子，說明您需要在數據中心之外開始處理的數據類型，以最大限度地減少通過網絡移動和存儲的數據量。此外，它還允許企業對可操作的數據做出實時決策 Bill Galloway Pivot3 Inc.

應用六：工業操作

工廠車間處理等工業操作需要海量數據的快速響應。這些數據中的大部分被丟棄，但能夠通過檢測邊緣數據中的異常來使工廠操作員能夠及時對工廠車間的 問題做出反應。這樣可以間接減少停機從而提高生產率。 Randal Kenworthy Cognizant

應用七： 智能建築

隨着我們的會議室和設施變得越來越智能化，將會有一種把所有東西都放到雲端的誘惑。考慮到安全性和穩定性，在站點上托管數據將會有一些好處。我們已經看到了基於雲的照明在網絡中斷時可能會令人沮喪的問題，而工作場所的可靠性甚至更重要。 Luke Wallace, Bottle Rocket

應用八： 無人駕駛汽車

汽車行業已投入數十億資金開發邊緣計算技術。為了安全運行，這些車輛需要收集和分析有關其 周圍環境，方向和天氣狀況的大量數據，以及與道路上的其他車輛進行通信。 Arnie Gordon Arlyn Scales

應用九： 機頂盒

Edge AI 可以在機頂盒設備上運行一個低占用空間的智能引擎，可以實時分析數據，對 AI 進行編碼，在本地解決問題並向上游服務器提供智能反饋。與基本自動化（邊緣機器人流程自動化機器人）相結合，AI 引擎可以自我修復並在本地解決許多問題。 Ankur Garg Hotify Inc.

1.2 為什么叫做K3S

我們希望安裝的Kubernetes 在內存占用方面只是 原來 一半的大小。Kubernetes是一個10個字母的單詞 ，簡寫為 k8s 所以，Kubernetes 一半大的東西就是有 5 個字母的單詞，簡寫為 K3S。K3S沒有全稱，也沒有官方的發音。

K3s適用於以下場景：

• 邊緣計算 Edge

• 物聯網 IoT

• CI：持續集成

• Development：開發

• ARM

• 嵌入K8s

由於運行K3s 所需的資源相對較少，所以 K3s 也適用於開發和測試場景。在這些場景中，如果開發或測試人員需要對某些功能進行驗證，或對某些問題進行重現，那么使用 K3s 不僅能夠縮短啟動集群的時間，還能夠減少集群需要消耗的資源。與此同時， Rancher 中國團隊推出了一款針對 K3s 的效率提升工具： AutoK3s 。只需要輸入一行命令，即可快速創建 K3s 集群並添加指定數量的 master 節點和 worker節點。

ARM介紹：

ARM64和 ARMv7 都支持二進制文件和多源鏡像。 k3s 在小到樹莓派或大到 AWS a1.4xlarge 32GiB 服務器的環境中均能出色工作。

1.3 K3S架構

1）單節點 的 k3s 架構

 

k3s server節點是運行k3s server命令的機器（裸機或者虛擬機），而k3s Agent 節點是運行k3s agent命令的機器。

單點架構只有一個控制節點（在 K3s 里叫做server node，相當於 K8s 的 master node），而且K3s的數據存儲使用 sqlite 並內置在了控制節點上

在這種配置中，每個 agent 節點都注冊到同一個 server 節點。K3s 用戶可以通過調用server節點上的K3s API來操作Kubernetes資源。

2）高可用 的 K3S 架構

雖然單節點k3s 集群可以滿足各種用例，但對於 Kubernetes control plane 的正常運行至關重要的環境，可以在高可用配置中運行 K3s 。一個高可用 K3s 集群由以下幾個部分組成：

• K3s Server 節點 兩個或者更多的server節點將為 Kubernetes API 提供服務並運行其他 control-plane 服務

• 外部數據庫 外部數據存儲（與單節點 k3s 設置中使用的嵌入式 SQLite 數據存儲相反）

3）邊緣計算應用案例 分析

在進行信息化、智能化改造的過程中，首先第一步，就是要獲取底層系統的全方位的數據。因此 需要部署大量的邊緣設備來采集數據、分析數據，通過這些數據進行建模，大量的邊緣設備一般離散的分布在不同機房、廠區、甚至是不同的地理區域 。

需求 運維角度來講：

• 管理這些邊緣設備，保持邊緣設備上運行的服務的高可用性；

• 快速的上線、升級

• 配置的快速更改與應用

 

以上案例來自曾永傑，上海全應科技有限公司運維經理，曾在華為西安研究所雲計算部門承擔軟件測試工程師、項目交付、線上運維等工作職責，當前工作主要為 CI/CD 流程的建設與維護、應用的容器化改革和容器雲平台的運維管理

2 K3S和K8S之間的區別

K8s和 k3s 各有優劣。若是你要進行大型的集群部署，建議你選擇使用 K8s ；若是你處於邊緣計算等小型部署的場景或僅僅須要部署一些非核心集群進行開發 測試，那么選擇 k3s 則是性價比更高的選擇。

• 雲計算場景用k8s

• 邊緣計算場景用 k3s

在實際的應用部署中，幾乎沒有任何差異，至少到目前為止，一般k8s能滿足的場景，k3s也能滿足，相信，通過不斷的迭代，k3s在未來會更完善邊緣場景。

3 K3S的安裝部署

3.1 環境介紹

安裝k3s服務的操作系統要求：

• Linux 的內核版本在3.10以上

• 每台服務器上至少要有512MB的內存空間

• 硬盤中可用的存儲空間必須大於500 MB

集群角色	IP地址	安裝組件
Server節點	192.168.5.3	K3s-server、containerd
Agent節點	192.168.5.4	K3s-agent、containerd
Agent節點	192.168.5.5	K3s-agent、containerd

3.2 節點初始化（所有節點）

# 關閉防火牆
systemctl stop firewalld && systemctl disable firewalld
​
# 關閉selinux
setenforce 0 && sed -i 's/enforcing/disabled/' /etc/selinux/config  
​
# 關閉swap
swapoff -a && sed -ri 's/.*swap.*/#&/' /etc/fstab
​
# 根據規划設置主機名
hostnamectl set-hostname k3s-agent-02 && bash
​
# 將集群節點添加到hosts文件
cat <<EOF>> /etc/hosts 
192.168.5.3 k3s-server-01
192.168.5.4 k3s-agent-01
192.168.5.5 k3s-agent-02
EOF
​
# 將橋接的IPv4 流量傳遞到iptables 的鏈
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system # 生效
​
# 時間同步
yum -y install ntpdate vim git wget && ntpdate time.windows.com

3.3 安裝containerd（所有節點）

1）添加yum倉庫

cat <<EOF> /etc/yum.repos.d/tsinghua.repo
[tsinghua]
name=tsinghua
baseurl=https://mirror.tuna.tsinghua.edu.cn/epel/7/x86_64/
gpgcheck=0
EOF

2）安裝並啟動

yum -y install containerd
​
systemctl enable containerd && systemctl start containerd

3）查看安裝版本信息

ctr -version

4）containerd 常用命令

# 鏡像
# 容器
# 其他指令

3.4 安裝Server節點

curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh | \
INSTALL_K3S_MIRROR=cn \
sh -

systemctl enable k3s && systemctl status k3s

# 驗證是否安裝成功
k3s kubectl get nodes 

# 查看系統服務啟動狀態
k3s kubectl get pods -n kube-system

3.5 提取join token

添加worker節點時。需要一個 join token 。 Join token 存在於master 節點的文件系統上。

cat /var/lib/rancher/k3s/server/node-token

3.6 安裝agent節點

curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh | \
INSTALL_K3S_MIRROR=cn K3S_URL=https://192.168.5.3:6443 \
K3S_TOKEN=K1052c359b630c5301160f572a1b04e3350120649a664794e1d016337e3545b998f::server:4a2088e7f279e9d28b32254eabdc10b8 \
sh -

查看節點信息

k3s kubectl get nodes 

4 K3S部署應用演示

4.1 部署nginx

1）部署

cat <<EOF> nginx.yaml
apiVersion: apps/v1
kind: Deployment      
metadata:
  name: nginx
  namespace: dev
spec: 
  replicas: 3
  selector:
    matchLabels:
      app: nginx-pod
  template:
    metadata:
      labels:
        app: nginx-pod
    spec:
      containers:
      - name: nginx
        image: nginx:1.17.1
        ports:
        - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-service
  namespace: dev
spec:
  selector:
    app: nginx-pod
  type: NodePort
  ports:
  - port: 80       
    targetPort: 80
EOF

k3s kubectl apply -f nginx.yaml 

2）查看

k3s kubectl get pods,svc -n dev

4.2 部署mysql

1）安裝nfs環境

# 在所有節點上安裝nfs服務
yum install nfs-utils -y

# 准備一個共享目錄
mkdir /data/nfs -pv

# 將共享目錄以讀寫權限暴露給192.168.5.0/24網段中的所有主機
vim /etc/exports
/data/nfs     192.168.5.0/24(rw,no_root_squash)

# 啟動nfs服務
systemctl restart nfs && systemctl enable nfs 

# 查看是否創建成功
showmount -e 192.168.5.3

2）部署

cat <<EOF> mysql.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: mysql
  namespace: dev
spec:
  selector:
    matchLabels:
      app: mysql
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: mysql
    spec:
      containers:
      - image: mysql:5.6
        name: mysql
        env:
        - name: MYSQL_ROOT_PASSWORD
          value: password
        ports:
        - containerPort: 3306
          name: mysql
        volumeMounts:
        - name: mysql-data
          mountPath: /var/lib/mysql
      volumes:
      - name: mysql-data
        nfs:
          server: 192.168.5.3  #nfs服務器地址
          path: /data/nfs #共享文件路徑
---
apiVersion: v1
kind: Service
metadata:
  name: mysql-service
  namespace: dev
spec:
  selector:
    app: mysql-pod
  type: NodePort
  ports:
  - port: 3306
    targetPort: 3306
EOF

k3s kubectl apply -f mysql.yaml

3）查看

k3s kubectl get pods,svc -n dev

4.3 部署postgresql

1）部署

cat <<EOF> postgresql.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: postgresql
  namespace: dev
spec:
  serviceName: postgresql
  replicas: 1
  selector:
    matchLabels:
      app: postgresql
  template:
    metadata:
      labels:
        app: postgresql
    spec:
      volumes:
        - name: hostpath
          hostPath:
            path: /home/data/pgdata
      containers:
        - image: postgres:11-alpine
          imagePullPolicy: Always
          name: postgres11
          volumeMounts:
            - mountPath: /var/lib/postgresql/data
              name: hostpath
          env:
            - name: POSTGRES_PASSWORD
              value: qwe@123456
            - name: POSTGRES_USER
              value: pgroot
            - name: POSTGRES_DB
              value: dest
---
apiVersion: v1
kind: Service
metadata:
  name: postgresql-service
  namespace: dev
spec:
  type: NodePort
  ports:
    - port: 5432
      targetPort: 5432
  selector:
    app: postgresql-pod
EOF

k3s kubectl apply -f postgresql.yaml

2）查看

k3s kubectl get pods,svc -n dev

5 卸載K3S

5.1 卸載server節點

/usr/local/bin/k3s-uninstall.sh

5.2 卸載agent節點

/usr/local/bin/k3s-agent-uninstall.sh