docker網絡問題排查

Docker 網絡問題排查思路

作者：張首富
時間：2020-11-24
w x： y18163201

前言

再實際的生產環境中，我們為了保持 docker 鏡像最小的准則，並不會在 docker 鏡像里面安裝沒有用的東西，有時候需要探測 docker 內部訪問外部的資源是否能正常訪問，或者是別人請求 docker 啟動的服務的時候不能正常訪問，我們需要通過一系列的 網絡命令(tcpdump,ping,curl)去探查的時候，發現 docker 里面並沒有這些命令，下面的方法就是為了解決這個問題而誕生的；

使用nsenter 命令進入 docker 容器內的網絡 namespace

nsenter命令是一個可以在指定進程的命令空間下運行指定程序的命令。它位於util-linux包中。

此外，nsenter也可以進入mnt, uts, ipc, pid, user命令空間，以及指定根目錄和工作目錄。

安裝

# centos
yum -y install util-linux

使用說明

nsenter [options] [program [arguments]]

options:
-t, --target pid：指定被進入命名空間的目標進程的pid
-m, --mount[=file]：進入mount命令空間。如果指定了file，則進入file的命令空間
-u, --uts[=file]：進入uts命令空間。如果指定了file，則進入file的命令空間
-i, --ipc[=file]：進入ipc命令空間。如果指定了file，則進入file的命令空間
-n, --net[=file]：進入net命令空間。如果指定了file，則進入file的命令空間
-p, --pid[=file]：進入pid命令空間。如果指定了file，則進入file的命令空間
-U, --user[=file]：進入user命令空間。如果指定了file，則進入file的命令空間
-G, --setgid gid：設置運行程序的gid
-S, --setuid uid：設置運行程序的uid
-r, --root[=directory]：設置根目錄
-w, --wd[=directory]：設置工作目錄

如果沒有給出program，則默認執行$SHELL。

使用

獲取容器的 PID

# docker inspect -f {{.State.Pid}}  cadvisor
18140

進入到網絡命令空間

# nsenter -n -t 18140
# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
218: eth0@if219: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 02:42:ac:11:00:03 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 172.17.0.3/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever

然后執行宿主機上的網絡相關的命令了，然后就可以進行測試了。

kubernetes 網絡排查

查找 pod 落在那個節點上

kubectl get pod -o wide

然后到這個節點上執行下面命令

function e() {
    set -eu
    ns=${2-"default"}
    pod=`kubectl -n $ns describe pod $1 | grep -Eo 'docker://.*$' | head -n 1 | sed 's/docker:\/\/\(.*\)$/\1/'`
    pid=`docker inspect -f {{.State.Pid}} $pod`
    echo "enter pod netns successfully for $ns/$1"
    nsenter -n --target $pid
}

一鍵進入 pod 所在的 netns，格式：e POD_NAME NAMESPACE，示例：

e istio-galley-58c7c7c646-m6568 istio-system
e proxy-5546768954-9rxg6 # 省略 NAMESPACE 默認為 default

這時已經進入 pod 的 netns，可以執行宿主機上的 ip a 或 ifconfig 來查看容器的網卡，執行 netstat -tunlp 查看當前容器監聽了哪些端口，再通過 tcpdump 抓包

依賴宿主機的命名：kubectl, docker, nsenter, grep, head, sed

參考：

https://staight.github.io/2019/09/23/nsenter命令簡介/

https://TencentCloudContainerTeam.github.io/2019/05/19/capture-packets-in-container/