判斷ssh遠程命令是否執行結束

bash&shell系列文章：http://www.cnblogs.com/f-ck-need-u/p/7048359.html

---

注：這是一個沒什么鳥用的功能。不過也算是一種拓展。

通常在那些"一鍵化部署"的shell腳本中，可能需要使用ssh執行遠程命令來實現一些簡單的自動化，這些遠程命令可能需要執行一段時間才能結束(如yum命令)。例如，遠程ssh配置yum源，遠程ssh安裝軟件包。

為了讓腳本實現"並行"執行，這個遠程ssh命令往往還會加上"-f"選項使其進入后台執行。此時，如果后續的遠程任務正好要依賴於這個命令已經執行完成，那么我們要判斷前面的任務是否執行完成。例如，在配置軟件的時候，必須先判斷軟件是否安裝結束。

判斷的方式挺簡單，只需判斷這個ssh進程是否存在就可以了。例如：

[root@node1 ~]# ssh 192.168.100.101 -f 'yum makecache'
[root@node1 ~]# killall -s 0 ssh
[root@node1 ~]# echo $?

這樣的方法沒錯，也能應付絕大多數情況，但如果有多個遠程后台命令的ssh進程，就無法知道具體是哪個ssh進程。

於是，可以采用另一種方法，將執行遠程命令的ssh進程放進后台，再用$!來獲取最近的后台ssh進程。例如：

[root@node1 ~]# ssh 192.168.100.101 -f 'yum makecache' & echo $!
[1] 76115
76115

但這是錯誤的方法，如果你現在去查看ssh進程，你會發現進程號不是76115。

[root@node1 ~]# pstree -p | grep 'ssh('
           |-ssh(76116)

因為ssh在執行遠程后台命令(加上"-f"選項)的時候，它自身會在建立ssh連接后再fork一個后台ssh進程用來執行遠程命令。

也就是說，當ssh執行遠程后台命令的時候，會有兩個ssh進程：

• 第一個ssh進程是初始ssh進程，用於建立連接、發送要執行的命令、fork新的ssh進程等，當這些任務結束后，這個ssh進程會消逝；
• 第二個ssh進程是第一個ssh進程fork出來的新進程(調試的結果將顯示"debug1: forking to background")，用來執行遠程命令。它是后台進程，掛靠在init/systemd進程下。當遠程命令執行結束時，這個后台ssh進程會消逝。

注意，只有使用了"-f"選項，第一個ssh進程才會fork新的后台ssh進程，因為前台的任務(沒有使用"-f")可以直接在第一個ssh進程上執行。

第二個后台ssh進程無法用$!捕捉，$!捕捉到的只是&的后台，而對於ssh ... &中的"&"來說，它是將ssh連接進程(即第一個ssh進程)置於后台，而不是將fork出來的ssh后台進程再放入后台。所以上面的"echo $!"的結果76115比后台ssh進程號76116要小。

那么有什么好方法可以判斷多個遠程ssh進程中的每一個？絕大多數時候都能使用的方式是直接從$!的結果加1來判斷ssh的進程號。但是極少數情況下，fork出來的進程號不一定會是加1的。如果想要無比精確的判斷，我個人沒有想到好方法，只能通過比較愚笨的方式來實現判斷：將每個后台ssh進程的pid號保存起來(存放到每個變量中，或數組中)。

例如，有兩個執行遠程命令的ssh進程：

ssh 192.168.100.101 -f 'sleep 50'
ssh_pid1=`ps x | awk '/ssh.*slee[p]/{print $1}' | tail -1`
ssh 192.168.100.101 -f 'sleep 60'
ssh_pid2=`ps x | awk '/ssh.*slee[p]/{print $1}' | tail -1`

# ssh_pid1 finished?
kill -0 $ssh_pid1
echo $?

# ssh_pid2 finished?
kill -0 $ssh_pid2
echo $?

最后補上ssh連接或執行遠程命令時，內部過程的詳細信息。這些信息使用ssh -vvv即可獲取，此處給出的是篩選后的一小部分。

當ssh建立連接或執行前台遠程命令(沒有使用"-f"選項)時:

OpenSSH_6.6.1, OpenSSL 1.0.1e-fips 11 Feb 2013
debug1: Reading configuration data /etc/ssh/ssh_config
debug1: /etc/ssh/ssh_config line 56: Applying options for *
debug2: ssh_connect: needpriv 0
debug1: Connecting to 192.168.100.101 [192.168.100.101] port 22.
debug1: Connection established                          # tcp連接建立
.....................
debug1: Authentication succeeded (publickey).
Authenticated to 192.168.100.101 ([192.168.100.101]:22).  # 用戶認證成功
debug1: channel 0: new [client-session]
debug3: ssh_session2_open: channel_new: 0
debug2: channel 0: send open                  # ssh連接建立
debug1: Requesting [e-mail]
debug1: Entering interactive session.         # ssh連接進程進入交互式模式


[1]+  Stopped                 ssh -vvvv 192.168.100.101

當執行遠程后台任務時(加上"-f"選項)：

[root@node1 ~]# ssh -vvv 192.168.100.101 -f 'sleep 50' & echo $! 
[1] 65570
65570                 # echo $!得到的上一個后台進程位65570
[root@node1 ~]# OpenSSH_6.6.1, OpenSSL 1.0.1e-fips 11 Feb 2013
debug1: Reading configuration data /etc/ssh/ssh_config
debug1: /etc/ssh/ssh_config line 56: Applying options for *
debug2: ssh_connect: needpriv 0
debug1: Connecting to 192.168.100.101 [192.168.100.101] port 22.
debug1: Connection established.        # tcp連接建立
....................................
debug1: Authentication succeeded (publickey).     # 用戶認證成功
Authenticated to 192.168.100.101 ([192.168.100.101]:22).
debug2: fd 4 setting O_NONBLOCK
debug1: channel 0: new [client-session]
debug3: ssh_session2_open: channel_new: 0
debug2: channel 0: send open                 # ssh連接建立
debug1: Requesting [e-mail]
debug1: forking to background             # 注意此處：fork一個新ssh進程到后台
debug1: Entering interactive session.     # ssh連接進程進入交互式模式
debug2: callback start
......................................