如何解決 shell 腳本重復執行的問題


在開發過程中,經常會使用shell腳本去完成定時備份的任務,普遍的做法是通過系統的定時任務定時執行備份腳本

設想這樣一種場景,本次備份時間到了,自動執行備份腳本,如果備份比較耗時的話,會一直持續到下一次備份時間到了還未結束,下次備份又會自動調用備份腳本,相當於同一時間有兩個進程在執行備份腳本,這可能會導致備份數據錯亂或其他不可預知的問題

更進一步,假如執行備份腳本消耗的時間遠大於設置的備份間隔的話,系統會出現多個同時在執行腳本的Bash實例,會占用大量的系統資源,進而影響正常業務程序的運行

那如何解決上述shell腳本重復執行的問題呢,本文將要介紹的 flock 命令可以解決這個問題

簡介

flock 是文件鎖命令,它可以保證Linux系統上進程之間安全的訪問臨界資源,在shell腳本中,可以用來控制邏輯的互斥性

實例1

現有腳本 a.sh, 內容如下

#!/bin/bash

echo "[`date +'%Y-%m-%d %H:%M:%S'`] begin pid:$$..."

sleep 10

echo "[`date +'%Y-%m-%d %H:%M:%S'`] end pid:$$..."

在終端(記為終端1)中執行 flock -xn ./f.lock -c ./a.sh 命令,結果如下

[tt@ecs-centos-7 lock_test]$ flock -xn ./f.lock -c ./a.sh 
[2020-12-10 10:10:45] begin pid:5359...
[2020-12-10 10:10:55] end pid:5359...

在上述命令執行期間,打開另一個終端(記為終端2),執行同樣的命令,結果如下

[tt@ecs-centos-7 lock_test]$ flock -xn ./f.lock -c ./a.sh 
[tt@ecs-centos-7 lock_test]$ 

上面的命令 flock -xn ./f.lock -c ./a.sh

-x 選項是排他鎖,有時候也稱為寫鎖,這是默認選項

-n 選項是非阻塞,如果無法獲取鎖,立即返回失敗,而不是一直等待鎖的釋放

-c 選項后面是待執行的命令

終端1 中執行 flock -xn ./f.lock -c ./a.sh 命令,對 f.lock 文件加鎖,同時執行 ./a.sh 命令,執行過程會持續10秒左右( sleep 10 語句 )

由於終端2 中 flock -xn ./f.lock -c ./a.sh 命令是在 終端1 命令執行期間執行的,此時終端1 還未釋放 f.lock文件鎖,再加上 -n選項是非阻塞的,所以終端2 不會阻塞等待 f.lock 文件鎖,而是立即返回

終端2 如果執行 flock -x ./f.lock -c ./a.sh 命令,會一直阻塞等待,直到 終端1 釋放 f.lock 文件鎖,它才會獲取到 f.lock 文件鎖並開始執 ./a.sh 命令

實例2

實例1 中每次都需要執行 flock -xn 文件鎖 -c ./a.sh 命令,而且每個不能重復執行的腳本都要分配一個文件鎖,還得保證不同的腳本得使用不同名字的文件鎖

有沒有辦法做到只要執行 ./a.sh 命令就可以實現 實例1 中的功能呢?

答案:有的

我們把 a.sh 稍微修改下,修改之后的內容如下

  1 #!/bin/bash
  2 
  3 
  4 echo "[`date +'%Y-%m-%d %H:%M:%S'`] 1111 pid:$$...MY_LOCK:${MY_LOCK}"
  5 
  6 [ "${MY_LOCK}" != "$0" ] && exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@"
  7 
  8 echo "[`date +'%Y-%m-%d %H:%M:%S'`] begin pid:$$...MY_LOCK:${MY_LOCK}"
  9 
 10 sleep 10
 11 
 12 echo "[`date +'%Y-%m-%d %H:%M:%S'`] end pid:$$..."

終端1 執行 ./a.sh 命令,輸出如下

[tt@ecs-centos-7 lock_test]$ ./a.sh
[2020-12-10 14:11:35] 1111 pid:5944...MY_LOCK:
[2020-12-10 14:11:35] 1111 pid:5946...MY_LOCK:./a.sh
[2020-12-10 14:11:35] begin pid:5946...MY_LOCK:./a.sh
[2020-12-10 14:11:45] end pid:5946...

在終端1 命令執行期間,終端2 執行 ./a.sh 命令,輸出如下

[tt@ecs-centos-7 lock_test]$ ./a.sh
[2020-12-10 14:11:44] 1111 pid:5976...MY_LOCK:
[2020-12-10 14:11:44]

新的 a.sh 腳本相比原來新增了第 4、6 兩行

第 4 行是日志打印

第 6 行說明

$0 是腳本名字,這里的值是 ./a.sh

$@ 是傳入 a.sh 腳本的所有參數

exec 會在當前進程執行它后面緊接着的命令,當前腳本進程原來還未執行完的命令不會執行了

[ "${MY_LOCK}" != "$0" ] 是判斷 MY_LOCK 環境變量是否和腳本名字( a.sh )
相同

如果不同,就執行 env MY_LOCK="$0" 命令 和 flock -xn "$0" "$0" "$@" 命令

env MY_LOCK="$0" 設置環境變量 MY_LOCK 的值為腳本名字

flock -xn "$0" "$0" "$@" 其實就是 flock -xn ./a.sh ./a.sh,它使用當前腳本名字作為文件鎖

實例2 中,執行 ./a.sh 命令之后,當運行到第 6 行時,MY_LOCK 變量是空值,所以 [ "${MY_LOCK}" != "$0" ] 的結果為 true

exec 命令會忽略掉后面未執行的命令,也即在當前shell進程中 第 6 行之后的命令都不會執行了

緊接着, exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@" 命令, 把 MY_LOCK 變量的值設置為當前腳本名字 ./a.sh ,同時執行 flock -xn "$0" "$0" "$@" 命令,此命令會在一個新的子shell中執行 ./a.sh ,所以腳本后續的輸出中打印的進程ID和開始時不一樣

同時,由於在 flock -xn "$0" "$0" "$@" 之前執行過 env MY_LOCK="$0",MY_LOCK 變量的值被設置為了 ./a.sh, 所以 flock -xn "$0" "$0" "$@" 命令重新執行 ./a.sh 命令時,
腳本第 6 行的 [ "${MY_LOCK}" != "$0" ] 的結果為 false, 第 6 行 exec 后面的命令不會執行,腳本接着從第 7 行一直執行到最后, 結果輸出 8 和 12 行的日志也說明腳本執行完了

總結

實例1 和 實例2 提供了兩種解決 腳本重復執行的 方式,主要都是利用 flock 命令設置文件鎖來實現的,實例2 的方式更簡單,只需要在腳本開頭加上 [ "${MY_LOCK}" != "$0" ] && exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@" 語句,調用腳本的命令保持不變

更多關於 flock 命令的選項及用法可以通過 man flock 自行查看


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM