在開發過程中,經常會使用shell腳本去完成定時備份的任務,普遍的做法是通過系統的定時任務定時執行備份腳本
設想這樣一種場景,本次備份時間到了,自動執行備份腳本,如果備份比較耗時的話,會一直持續到下一次備份時間到了還未結束,下次備份又會自動調用備份腳本,相當於同一時間有兩個進程在執行備份腳本,這可能會導致備份數據錯亂或其他不可預知的問題
更進一步,假如執行備份腳本消耗的時間遠大於設置的備份間隔的話,系統會出現多個同時在執行腳本的Bash實例,會占用大量的系統資源,進而影響正常業務程序的運行
那如何解決上述shell腳本重復執行的問題呢,本文將要介紹的 flock
命令可以解決這個問題
簡介
flock
是文件鎖命令,它可以保證Linux系統上進程之間安全的訪問臨界資源,在shell腳本中,可以用來控制邏輯的互斥性
實例1
現有腳本 a.sh
, 內容如下
#!/bin/bash
echo "[`date +'%Y-%m-%d %H:%M:%S'`] begin pid:$$..."
sleep 10
echo "[`date +'%Y-%m-%d %H:%M:%S'`] end pid:$$..."
在終端(記為終端1)中執行 flock -xn ./f.lock -c ./a.sh
命令,結果如下
[tt@ecs-centos-7 lock_test]$ flock -xn ./f.lock -c ./a.sh
[2020-12-10 10:10:45] begin pid:5359...
[2020-12-10 10:10:55] end pid:5359...
在上述命令執行期間,打開另一個終端(記為終端2),執行同樣的命令,結果如下
[tt@ecs-centos-7 lock_test]$ flock -xn ./f.lock -c ./a.sh
[tt@ecs-centos-7 lock_test]$
上面的命令 flock -xn ./f.lock -c ./a.sh
中
-x
選項是排他鎖,有時候也稱為寫鎖,這是默認選項
-n
選項是非阻塞,如果無法獲取鎖,立即返回失敗,而不是一直等待鎖的釋放
-c
選項后面是待執行的命令
終端1 中執行 flock -xn ./f.lock -c ./a.sh
命令,對 f.lock
文件加鎖,同時執行 ./a.sh
命令,執行過程會持續10秒左右( sleep 10 語句 )
由於終端2 中 flock -xn ./f.lock -c ./a.sh
命令是在 終端1 命令執行期間執行的,此時終端1 還未釋放 f.lock
文件鎖,再加上 -n
選項是非阻塞的,所以終端2 不會阻塞等待 f.lock
文件鎖,而是立即返回
終端2 如果執行 flock -x ./f.lock -c ./a.sh
命令,會一直阻塞等待,直到 終端1 釋放 f.lock
文件鎖,它才會獲取到 f.lock
文件鎖並開始執 ./a.sh
命令
實例2
實例1 中每次都需要執行 flock -xn 文件鎖 -c ./a.sh
命令,而且每個不能重復執行的腳本都要分配一個文件鎖,還得保證不同的腳本得使用不同名字的文件鎖
有沒有辦法做到只要執行 ./a.sh
命令就可以實現 實例1 中的功能呢?
答案:有的
我們把 a.sh
稍微修改下,修改之后的內容如下
1 #!/bin/bash
2
3
4 echo "[`date +'%Y-%m-%d %H:%M:%S'`] 1111 pid:$$...MY_LOCK:${MY_LOCK}"
5
6 [ "${MY_LOCK}" != "$0" ] && exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@"
7
8 echo "[`date +'%Y-%m-%d %H:%M:%S'`] begin pid:$$...MY_LOCK:${MY_LOCK}"
9
10 sleep 10
11
12 echo "[`date +'%Y-%m-%d %H:%M:%S'`] end pid:$$..."
終端1 執行 ./a.sh
命令,輸出如下
[tt@ecs-centos-7 lock_test]$ ./a.sh
[2020-12-10 14:11:35] 1111 pid:5944...MY_LOCK:
[2020-12-10 14:11:35] 1111 pid:5946...MY_LOCK:./a.sh
[2020-12-10 14:11:35] begin pid:5946...MY_LOCK:./a.sh
[2020-12-10 14:11:45] end pid:5946...
在終端1 命令執行期間,終端2 執行 ./a.sh
命令,輸出如下
[tt@ecs-centos-7 lock_test]$ ./a.sh
[2020-12-10 14:11:44] 1111 pid:5976...MY_LOCK:
[2020-12-10 14:11:44]
新的 a.sh
腳本相比原來新增了第 4、6
兩行
第 4 行是日志打印
第 6 行說明
$0
是腳本名字,這里的值是 ./a.sh
$@
是傳入 a.sh
腳本的所有參數
exec
會在當前進程執行它后面緊接着的命令,當前腳本進程原來還未執行完的命令不會執行了
[ "${MY_LOCK}" != "$0" ]
是判斷 MY_LOCK 環境變量是否和腳本名字( a.sh )
相同
如果不同,就執行 env MY_LOCK="$0"
命令 和 flock -xn "$0" "$0" "$@"
命令
env MY_LOCK="$0"
設置環境變量 MY_LOCK 的值為腳本名字
flock -xn "$0" "$0" "$@"
其實就是 flock -xn ./a.sh ./a.sh
,它使用當前腳本名字作為文件鎖
實例2 中,執行 ./a.sh
命令之后,當運行到第 6 行時,MY_LOCK
變量是空值,所以 [ "${MY_LOCK}" != "$0" ]
的結果為 true
exec
命令會忽略掉后面未執行的命令,也即在當前shell進程中 第 6 行之后的命令都不會執行了
緊接着, exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@"
命令, 把 MY_LOCK 變量的值設置為當前腳本名字 ./a.sh
,同時執行 flock -xn "$0" "$0" "$@"
命令,此命令會在一個新的子shell中執行 ./a.sh
,所以腳本后續的輸出中打印的進程ID和開始時不一樣
同時,由於在 flock -xn "$0" "$0" "$@"
之前執行過 env MY_LOCK="$0"
,MY_LOCK 變量的值被設置為了 ./a.sh
, 所以 flock -xn "$0" "$0" "$@"
命令重新執行 ./a.sh
命令時,
腳本第 6 行的 [ "${MY_LOCK}" != "$0" ]
的結果為 false
, 第 6 行 exec
后面的命令不會執行,腳本接着從第 7 行一直執行到最后, 結果輸出 8 和 12
行的日志也說明腳本執行完了
總結
實例1 和 實例2 提供了兩種解決 腳本重復執行的 方式,主要都是利用 flock
命令設置文件鎖來實現的,實例2 的方式更簡單,只需要在腳本開頭加上 [ "${MY_LOCK}" != "$0" ] && exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@"
語句,調用腳本的命令保持不變
更多關於 flock
命令的選項及用法可以通過 man flock
自行查看