本次使用全手工的方式在 debian 10 系統上以 二進制包 形式部署 kubernetes 的 ha集群，ha 方式選擇 node 節點代理 apiserver 的方式。
環境信息
| System OS | IP Address | Docker | Kernel | Hostname | Cpu | Memory | Role |
|---|---|---|---|---|---|---|---|
| Debian 10.9 | 172.29.26.197 | 20.10.5 | 4.19.0-16-amd64 | master1 | 2C | 4G | master |
| Debian 10.9 | 172.29.26.166 | 20.10.5 | 4.19.0-16-amd64 | master2 | 2C | 4G | master |
| Debian 10.9 | 172.29.26.165 | 20.10.5 | 4.19.0-16-amd64 | master3 | 2C | 4G | master |
| Debian 10.9 | 172.29.26.164 | 20.10.5 | 4.19.0-16-amd64 | node1 | 2C | 4G | worker |
| Debian 10.9 | 172.29.26.164 | 20.10.5 | 4.19.0-16-amd64 | node2 | 2C | 4G | worker |
| Debian 10.9 | 172.29.26.164 | 20.10.5 | 4.19.0-16-amd64 | node3 | 2C | 4G | worker |
版本信息
Kubernetes: v1.20.7
etcd: v3.4.15
Docker CE: 20.10.5
Flannel :v0.13.0
網絡信息
- Cluster IP CIDR:
10.244.0.0/16 - Service Cluster IP CIDR:
10.96.0.0/12 - Service DNS IP:
10.96.0.10 - DNS DN:
cluster.local - Kubernetes API:
127.0.0.1:6443
初始化所有節點
在集群所有節點上執行下面的操作 注意：以下操作有些存在過度優化，請根據自身情況擇選。
APT調整
鏡像源調整
mv /etc/apt/sources.list{,.bak} cat > /etc/apt/sources.list <<EOF deb http://mirrors.aliyun.com/debian/ buster main contrib non-free deb-src http://mirrors.aliyun.com/debian/ buster main contrib non-free deb http://mirrors.aliyun.com/debian/ buster-updates main contrib non-free deb-src http://mirrors.aliyun.com/debian/ buster-updates main contrib non-free deb http://mirrors.aliyun.com/debian-security/ buster/updates main contrib non-free deb-src http://mirrors.aliyun.com/debian-security/ buster/updates main contrib non-free EOF apt-get update 取消安裝服務自啟動
echo -e '#!/bin/sh\nexit 101' | install -m 755 /dev/stdin /usr/sbin/policy-rc.d 取消自動更新包
systemctl mask apt-daily.service apt-daily-upgrade.service
systemctl stop apt-daily.timer apt-daily-upgrade.timer
systemctl disable apt-daily.timer apt-daily-upgrade.timer
systemctl kill --kill-who=all apt-daily.service cat > /etc/apt/apt.conf.d/10cloudinit-disable << __EOF APT::Periodic::Enable "0"; // undo what's in 20auto-upgrade APT::Periodic::Update-Package-Lists "0"; APT::Periodic::Unattended-Upgrade "0"; __EOF 關閉防火牆
systemctl stop firewalld && systemctl disable firewalld iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X 關閉selinux
setenforce 0
sed -i "s#=enforcing#=disabled#g" /etc/selinux/config 關閉swap
swapoff -a && sysctl -w vm.swappiness=0 sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab limit 限制
[ ! -f /etc/security/limits.conf_bak ] && cp /etc/security/limits.conf{,_bak} cat << EOF >> /etc/security/limits.conf root soft nofile 655360 root hard nofile 655360 root soft nproc 655360 root hard nproc 655360 root soft core unlimited root hard core unlimited * soft nofile 655360 * hard nofile 655360 * soft nproc 655360 * hard nproc 655360 * soft core unlimited * hard core unlimited EOF [ ! -f /etc/systemd/system.conf_bak ] && cp /etc/systemd/system.conf.conf{,_bak} cat << EOF >> /etc/systemd/system.conf DefaultLimitCORE=infinity DefaultLimitNOFILE=655360 DefaultLimitNPROC=655360 EOF 系統參數
cat << EOF > /etc/sysctl.d/99-kube.conf # https://www.kernel.org/doc/Documentation/sysctl/ ############################################################################################# # 調整虛擬內存 ############################################################################################# # Default: 30 # 0 - 任何情況下都不使用swap。 # 1 - 除非內存不足（OOM），否則不使用swap。 vm.swappiness = 0 # 內存分配策略 #0 - 表示內核將檢查是否有足夠的可用內存供應用進程使用；如果有足夠的可用內存，內存申請允許；否則，內存申請失敗，並把錯誤返回給應用進程。 #1 - 表示內核允許分配所有的物理內存，而不管當前的內存狀態如何。 #2 - 表示內核允許分配超過所有物理內存和交換空間總和的內存 vm.overcommit_memory=1 # OOM時處理 # 1關閉，等於0時，表示當內存耗盡時，內核會觸發OOM killer殺掉最耗內存的進程。 vm.panic_on_oom=0 # vm.dirty_background_ratio 用於調整內核如何處理必須刷新到磁盤的臟頁。 # Default value is 10. # 該值是系統內存總量的百分比，在許多情況下將此值設置為5是合適的。 # 此設置不應設置為零。 vm.dirty_background_ratio = 5 # 內核強制同步操作將其刷新到磁盤之前允許的臟頁總數 # 也可以通過更改 vm.dirty_ratio 的值（將其增加到默認值30以上（也占系統內存的百分比））來增加 # 推薦 vm.dirty_ratio 的值在60到80之間。 vm.dirty_ratio = 60 # vm.max_map_count 計算當前的內存映射文件數。 # mmap 限制（vm.max_map_count）的最小值是打開文件的ulimit數量（cat /proc/sys/fs/file-max）。 # 每128KB系統內存 map_count應該大約為1。 因此，在32GB系統上，max_map_count為262144。 # Default: 65530 vm.max_map_count = 2097152 ############################################################################################# # 調整文件 ############################################################################################# fs.may_detach_mounts = 1 # 增加文件句柄和inode緩存的大小，並限制核心轉儲。 fs.file-max = 2097152 fs.nr_open = 2097152 fs.suid_dumpable = 0 # 文件監控 fs.inotify.max_user_instances=8192 fs.inotify.max_user_watches=524288 fs.inotify.max_queued_events=16384 ############################################################################################# # 調整網絡設置 ############################################################################################# # 為每個套接字的發送和接收緩沖區分配的默認內存量。 net.core.wmem_default = 25165824 net.core.rmem_default = 25165824 # 為每個套接字的發送和接收緩沖區分配的最大內存量。 net.core.wmem_max = 25165824 net.core.rmem_max = 25165824 # 除了套接字設置外，發送和接收緩沖區的大小 # 必須使用net.ipv4.tcp_wmem和net.ipv4.tcp_rmem參數分別設置TCP套接字。 # 使用三個以空格分隔的整數設置這些整數，分別指定最小，默認和最大大小。 # 最大大小不能大於使用net.core.wmem_max和net.core.rmem_max為所有套接字指定的值。 # 合理的設置是最小4KiB，默認64KiB和最大2MiB緩沖區。 net.ipv4.tcp_wmem = 20480 12582912 25165824 net.ipv4.tcp_rmem = 20480 12582912 25165824 # 增加最大可分配的總緩沖區空間 # 以頁為單位（4096字節）進行度量 net.ipv4.tcp_mem = 65536 25165824 262144 net.ipv4.udp_mem = 65536 25165824 262144 # 為每個套接字的發送和接收緩沖區分配的最小內存量。 net.ipv4.udp_wmem_min = 16384 net.ipv4.udp_rmem_min = 16384 # 啟用TCP窗口縮放，客戶端可以更有效地傳輸數據，並允許在代理方緩沖該數據。 net.ipv4.tcp_window_scaling = 1 # 提高同時接受連接數。 net.ipv4.tcp_max_syn_backlog = 10240 # 將net.core.netdev_max_backlog的值增加到大於默認值1000 # 可以幫助突發網絡流量，特別是在使用數千兆位網絡連接速度時， # 通過允許更多的數據包排隊等待內核處理它們。 net.core.netdev_max_backlog = 65536 # 增加選項內存緩沖區的最大數量 net.core.optmem_max = 25165824 # 被動TCP連接的SYNACK次數。 net.ipv4.tcp_synack_retries = 2 # 允許的本地端口范圍。 net.ipv4.ip_local_port_range = 2048 65535 # 防止TCP時間等待 # Default: net.ipv4.tcp_rfc1337 = 0 net.ipv4.tcp_rfc1337 = 1 # 減少tcp_fin_timeout連接的時間默認值 net.ipv4.tcp_fin_timeout = 15 # 積壓套接字的最大數量。 # Default is 128. net.core.somaxconn = 32768 # 打開syncookies以進行SYN洪水攻擊保護。 net.ipv4.tcp_syncookies = 1 # 避免Smurf攻擊 # 發送偽裝的ICMP數據包，目的地址設為某個網絡的廣播地址，源地址設為要攻擊的目的主機， # 使所有收到此ICMP數據包的主機都將對目的主機發出一個回應，使被攻擊主機在某一段時間內收到成千上萬的數據包 net.ipv4.icmp_echo_ignore_broadcasts = 1 # 為icmp錯誤消息打開保護 net.ipv4.icmp_ignore_bogus_error_responses = 1 # 啟用自動縮放窗口。 # 如果延遲證明合理，這將允許TCP緩沖區超過其通常的最大值64K。 net.ipv4.tcp_window_scaling = 1 # 打開並記錄欺騙，源路由和重定向數據包 net.ipv4.conf.all.log_martians = 1 net.ipv4.conf.default.log_martians = 1 # 告訴內核有多少個未附加的TCP套接字維護用戶文件句柄。 萬一超過這個數字， # 孤立的連接會立即重置，並顯示警告。 # Default: net.ipv4.tcp_max_orphans = 65536 net.ipv4.tcp_max_orphans = 65536 # 不要在關閉連接時緩存指標 net.ipv4.tcp_no_metrics_save = 1 # 啟用RFC1323中定義的時間戳記： # Default: net.ipv4.tcp_timestamps = 1 net.ipv4.tcp_timestamps = 1 # 啟用選擇確認。 # Default: net.ipv4.tcp_sack = 1 net.ipv4.tcp_sack = 1 # 增加 tcp-time-wait 存儲桶池大小，以防止簡單的DOS攻擊。 # net.ipv4.tcp_tw_recycle 已從Linux 4.12中刪除。請改用net.ipv4.tcp_tw_reuse。 net.ipv4.tcp_max_tw_buckets = 14400 net.ipv4.tcp_tw_reuse = 1 # accept_source_route 選項使網絡接口接受設置了嚴格源路由（SSR）或松散源路由（LSR）選項的數據包。 # 以下設置將丟棄設置了SSR或LSR選項的數據包。 net.ipv4.conf.all.accept_source_route = 0 net.ipv4.conf.default.accept_source_route = 0 # 打開反向路徑過濾 net.ipv4.conf.all.rp_filter = 1 net.ipv4.conf.default.rp_filter = 1 # 禁用ICMP重定向接受 net.ipv4.conf.all.accept_redirects = 0 net.ipv4.conf.default.accept_redirects = 0 net.ipv4.conf.all.secure_redirects = 0 net.ipv4.conf.default.secure_redirects = 0 # 禁止發送所有IPv4 ICMP重定向數據包。 net.ipv4.conf.all.send_redirects = 0 net.ipv4.conf.default.send_redirects = 0 # 開啟IP轉發. net.ipv4.ip_forward = 1 # 禁止IPv6 net.ipv6.conf.lo.disable_ipv6=1 net.ipv6.conf.all.disable_ipv6 = 1 net.ipv6.conf.default.disable_ipv6 = 1 # 要求iptables不對bridge的數據進行處理 net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.bridge.bridge-nf-call-arptables = 1 # arp緩存 # 存在於 ARP 高速緩存中的最少層數，如果少於這個數，垃圾收集器將不會運行。缺省值是 128 net.ipv4.neigh.default.gc_thresh1=2048 # 保存在 ARP 高速緩存中的最多的記錄軟限制。垃圾收集器在開始收集前，允許記錄數超過這個數字 5 秒。缺省值是 512 net.ipv4.neigh.default.gc_thresh2=4096 # 保存在 ARP 高速緩存中的最多記錄的硬限制，一旦高速緩存中的數目高於此，垃圾收集器將馬上運行。缺省值是 1024 net.ipv4.neigh.default.gc_thresh3=8192 # 持久連接 net.ipv4.tcp_keepalive_time = 600 net.ipv4.tcp_keepalive_intvl = 30 net.ipv4.tcp_keepalive_probes = 10 # conntrack表 net.nf_conntrack_max=1048576 net.netfilter.nf_conntrack_max=1048576 net.netfilter.nf_conntrack_buckets=262144 net.netfilter.nf_conntrack_tcp_timeout_fin_wait=30 net.netfilter.nf_conntrack_tcp_timeout_time_wait=30 net.netfilter.nf_conntrack_tcp_timeout_close_wait=15 net.netfilter.nf_conntrack_tcp_timeout_established=300 ############################################################################################# # 調整內核參數 ############################################################################################# # 地址空間布局隨機化（ASLR）是一種用於操作系統的內存保護過程，可防止緩沖區溢出攻擊。 # 這有助於確保與系統上正在運行的進程相關聯的內存地址不可預測， # 因此，與這些流程相關的缺陷或漏洞將更加難以利用。 # Accepted values: 0 = 關閉, 1 = 保守隨機化, 2 = 完全隨機化 kernel.randomize_va_space = 2 # 調高 PID 數量 kernel.pid_max = 65536 kernel.threads-max=30938 # coredump kernel.core_pattern=core # 決定了檢測到soft lockup時是否自動panic，缺省值是0 kernel.softlockup_all_cpu_backtrace=1 kernel.softlockup_panic=1 EOF sysctl --system history 數據格式和 ps1
cat << EOF >> /etc/bash.bashrc # history actions record，include action time, user, login ip HISTFILESIZE=5000 HISTSIZE=5000 USER_IP=\$(who -u am i 2>/dev/null | awk '{print \$NF}' | sed -e 's/[()]//g') if [ -z \$USER_IP ] then USER_IP=\$(hostname -i) fi HISTTIMEFORMAT="%Y-%m-%d %H:%M:%S \$USER_IP:\$(whoami) " export HISTFILESIZE HISTSIZE HISTTIMEFORMAT # PS1 PS1='\[\033[0m\]\[\033[1;36m\][\u\[\033[0m\]@\[\033[1;32m\]\h\[\033[0m\] \[\033[1;31m\]\w\[\033[0m\]\[\033[1;36m\]]\[\033[33;1m\]\\$ \[\033[0m\]' EOF journal 日志
mkdir -p /var/log/journal /etc/systemd/journald.conf.d cat << EOF > /etc/systemd/journald.conf.d/99-prophet.conf [Journal] # 持久化保存到磁盤 Storage=persistent # 壓縮歷史日志 Compress=yes SyncIntervalSec=5m RateLimitInterval=30s RateLimitBurst=1000 # 最大占用空間 10G SystemMaxUse=10G # 單日志文件最大 200M SystemMaxFileSize=200M # 日志保存時間 3 周 MaxRetentionSec=3week # 不將日志轉發到 syslog ForwardToSyslog=no EOF ssh登錄信息
cat << EOF > /etc/profile.d/zz-ssh-login-info.sh #!/bin/sh # # @Time : 2020-02-04 # @Author : lework # @Desc : ssh login banner export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin shopt -q login_shell && : || return 0 echo -e "\033[0;32m ██╗ ██╗ █████╗ ███████╗ ██║ ██╔╝██╔══██╗██╔════╝ █████╔╝ ╚█████╔╝███████╗ ██╔═██╗ ██╔══██╗╚════██║ ██║ ██╗╚█████╔╝███████║ ╚═╝ ╚═╝ ╚════╝ ╚══════ by lework\033[0m" # os upSeconds="\$(cut -d. -f1 /proc/uptime)" secs=\$((\${upSeconds}%60)) mins=\$((\${upSeconds}/60%60)) hours=\$((\${upSeconds}/3600%24)) days=\$((\${upSeconds}/86400)) UPTIME_INFO=\$(printf "%d days, %02dh %02dm %02ds" "\$days" "\$hours" "\$mins" "\$secs") if [ -f /etc/redhat-release ] ; then PRETTY_NAME=\$(< /etc/redhat-release) elif [ -f /etc/debian_version ]; then DIST_VER=\$(</etc/debian_version) PRETTY_NAME="\$(grep PRETTY_NAME /etc/os-release | sed -e 's/PRETTY_NAME=//g' -e 's/"//g') (\$DIST_VER)" else PRETTY_NAME=\$(cat /etc/*-release | grep "PRETTY_NAME" | sed -e 's/PRETTY_NAME=//g' -e 's/"//g') fi if [[ -d "/system/app/" && -d "/system/priv-app" ]]; then model="\$(getprop ro.product.brand) \$(getprop ro.product.model)" elif [[ -f /sys/devices/virtual/dmi/id/product_name || -f /sys/devices/virtual/dmi/id/product_version ]]; then model="\$(< /sys/devices/virtual/dmi/id/product_name)" model+=" \$(< /sys/devices/virtual/dmi/id/product_version)" elif [[ -f /sys/firmware/devicetree/base/model ]]; then model="\$(< /sys/firmware/devicetree/base/model)" elif [[ -f /tmp/sysinfo/model ]]; then model="\$(< /tmp/sysinfo/model)" fi MODEL_INFO=\${model} KERNEL=\$(uname -srmo) USER_NUM=\$(who -u | wc -l) RUNNING=\$(ps ax | wc -l | tr -d " ") # disk totaldisk=\$(df -h -x devtmpfs -x tmpfs -x debugfs -x aufs -x overlay --total 2>/dev/null | tail -1) disktotal=\$(awk '{print \$2}' <<< "\${totaldisk}") diskused=\$(awk '{print \$3}' <<< "\${totaldisk}") diskusedper=\$(awk '{print \$5}' <<< "\${totaldisk}") DISK_INFO="\033[0;33m\${diskused}\033[0m of \033[1;34m\${disktotal}\033[0m disk space used (\033[0;33m\${diskusedper}\033[0m)" # cpu cpu=\$(awk -F':' '/^model name/ {print \$2}' /proc/cpuinfo | uniq | sed -e 's/^[ \t]*//') cpun=\$(grep -c '^processor' /proc/cpuinfo) cpuc=\$(grep '^cpu cores' /proc/cpuinfo | tail -1 | awk '{print \$4}') cpup=\$(grep '^physical id' /proc/cpuinfo | wc -l) CPU_INFO="\${cpu} \${cpup}P \${cpuc}C \${cpun}L" # get the load averages read one five fifteen rest < /proc/loadavg LOADAVG_INFO="\033[0;33m\${one}\033[0m / \${five} / \${fifteen} with \033[1;34m\$(( cpun*cpuc ))\033[0m core(s) at \033[1;34m\$(grep '^cpu MHz' /proc/cpuinfo | tail -1 | awk '{print \$4}')\033 MHz" # mem MEM_INFO="\$(cat /proc/meminfo | awk '/MemTotal:/{total=\$2/1024/1024;next} /MemAvailable:/{use=total-\$2/1024/1024; printf("\033[0;33m%.2fGiB\033[0m of \033[1;34m%.2fGiB\033[0m RAM used (\033[0;33m%.2f%%\033[0m)",use,total,(use/total)*100);}')" # network # extranet_ip=" and \$(curl -s ip.cip.cc)" IP_INFO="\$(ip a | grep glo | awk '{print \$2}' | head -1 | cut -f1 -d/)\${extranet_ip:-}" # Container info CONTAINER_INFO="\$(sudo /usr/bin/crictl ps -a -o yaml 2> /dev/null | awk '/^ state: /{gsub("CONTAINER_", "", \$NF) ++S[\$NF]}END{for(m in S) printf "%s%s:%s ",substr(m,1,1),tolower(substr(m,2)),S[m]}')Images:\$(sudo /usr/bin/crictl images -q 2> /dev/null | wc -l)" # info echo -e " Information as of: \033[1;34m\$(date +"%Y-%m-%d %T")\033[0m \033[0;1;31mProduct\033[0m............: \${MODEL_INFO} \033[0;1;31mOS\033[0m.................: \${PRETTY_NAME} \033[0;1;31mKernel\033[0m.............: \${KERNEL} \033[0;1;31mCPU\033[0m................: \${CPU_INFO} \033[0;1;31mHostname\033[0m...........: \033[1;34m\$(hostname)\033[0m \033[0;1;31mIP Addresses\033[0m.......: \033[1;34m\${IP_INFO}\033[0m \033[0;1;31mUptime\033[0m.............: \033[0;33m\${UPTIME_INFO}\033[0m