(轉)一篇教會你寫90%的shell腳本

原文：https://zhuanlan.zhihu.com/p/264346586

shell是外殼的意思，就是操作系統的外殼。我們可以通過shell命令來操作和控制操作系統，比如Linux中的Shell命令就包括ls、cd、pwd等等。總結來說，Shell是一個命令解釋器，它通過接受用戶輸入的Shell命令來啟動、暫停、停止程序的運行或對計算機進行控制。

shell 是一個應用程序，它連接了用戶和 Linux 內核，讓用戶能夠更加高效、安全、低成本地使用 Linux 內核，這就是 Shell 的本質。

shell 本身並不是內核的一部分，它只是站在內核的基礎上編寫的一個應用程序。

那么什么是shell腳本呢？

shell腳本就是由Shell命令組成的執行文件，將一些命令整合到一個文件中，進行處理業務邏輯，腳本不用編譯即可運行。它通過解釋器解釋運行，所以速度相對來說比較慢。

shell腳本中最重要的就是對shell命令的使用與組合，再使用shell腳本支持的一些語言特性，完成想要的功能。

注釋

“# ”開頭的就是注釋，被編譯器忽略

• 單行注釋： #
• 多行注釋： :<

變量

變量類型
運行shell時，會同時存在三種變量：

1. 局部變量：局部變量在腳本或命令中定義，僅在當前shell實例中有效，其他shell啟動的程序不能訪問局部變量。
2. 環境變量：所有的程序，包括shell啟動的程序，都能訪問環境變量，有些程序需要環境變量來保證其正常運行。必要的時候shell腳本也可以定義環境變量。
3. shell變量：shell變量是由shell程序設置的特殊變量。shell變量中有一部分是環境變量，有一部分是局部變量，這些變量保證了shell的正常運行

變量操作

• 創建普通變量： name="test" （=兩邊不可有空格）
• 創建只可函數體中使用的局部變量： local name="test" （使用local修飾的變量在函數體外無法訪問，並且local只能在函數體內使用）
• 使用變量： echo $name 或者 echo ${name} （推薦使用大括號版）
• 變量重新賦值： name="new_test" （將原值覆蓋）
• 只讀變量： name="only_read" -> readonly name （使用readonly標識后的變量，不可被修改）
• 刪除變量： unset name; （刪除之后不可訪問，刪除不掉只讀變量）

字符串變量
1）單引號

• 單引號變量var='test' ，只能原樣輸出，變量無效
• 單引號中不能出現一個單獨的單引號，轉義也不可以

2）雙引號

• 雙引號變量var="my name is ${name}"，變量有效
• 可出現轉義符

3）拼接字符串

• 中間無任何+，之類的字符
• name="this is"" my name"; name="this is my name"; name="this" is "my name" 等效
• name='this is'' my nam'; name='this is my name'; name='this' is 'my name' 等效

4）獲取字符串長度

• 在${}中使用“#”獲取長度
• name="test";
• echo ${#name}; # 輸出為4

5）提取子字符串

• 1:4 從第2個開始 往后截取4個字符
• ::4 從第一個字符開始 往后截取4個字符
• name="this is my name";
• echo ${name:1:4} #輸出 is i
• echo ${name::4} #輸出 this

數組

bash只支持一維數組，不支持多維數組

• 定義數組：array_name=(li wang xiang zhang) （小括號做邊界、使用空格分離）
• 單獨定義數組的元素： array_para[0]="w"; array_para[3]="s" （定義時下標不連續也可以）
• 賦值數組元素：array_name[0]="zhao";
• 獲取數組元素：
• array_name[0]="li"
• array_name[3]="zhang"
• echo ${array_name[0]} # 輸出"li"
• echo ${array_name[1]} # 輸出" "
• echo ${array_name[3]} # 輸出"zhang"
• echo ${array_name[@]} # 輸出"li zhang" 輸出數組所有元素，沒有元素的下標省略

 

• 取得元素個數：${#array_name[@]} 或者 ${#array_name
• }
• 取得單個元素長度：${#array_name[1]}

參數傳遞

• 獲取參數值：
• $0 ： 固定，代表執行的文件名
• $1 ： 代表傳入的第1個參數
• $n ： 代表傳入的第n個參數

 

• \$#：參數個數
• \$*： 以一個單字符串顯示所有向腳本傳遞的參數。如"$*"用「"」括起來的情況、以"$1 $2 … $n"的形式輸出所有參數
• \$@：與$*相同，但是使用時加引號，並在引號中返回每個參數。
• \$\$：腳本運行的當前進程號
• \$！：后台運行的最后一個進程的ID
• \$?： 顯示最后命令的退出狀態。0表示沒有錯誤，其他任何值表明有錯誤。
• \$* 與 $@ 區別
• 相同點：都是引用所有參數。
• 不同點：只有在雙引號中體現出來。假設在腳本運行時寫了三個參數 1、2、3，，則 " * " 等價於 "1 2 3"（傳遞了一個參數），而 "@" 等價於 "1" "2" "3"（傳遞了三個參數）。

運算符

算數運算

• + 、-、*、\ ： 乘號前必須加\進行轉義才可以進行乘法運算
• 加法運算
• val=`expr 2 + 2` （使用linux命令expr進行輔助運算）
• val=$[2+2] （4個空格不是必要的，不同於條件判斷）
• val=$((2+2))

數字關系運算符
關系運算符只支持數字，不支持字符串，除非字符串的值是數字。
下面假定變量 a 為 10，變量 b 為 20

• -eq ：檢測兩個數是否相等，相等返回 true。 [ $a -eq $b ] 返回 false。
• -ne： 檢測兩個數是否不相等，不相等返回 true。 [ $a -ne $b ] 返回 true。
• -gt： 檢測左邊的數是否大於右邊的，如果是，則返回 true。 [ $a -gt $b ] 返回 false。
• -lt ： 檢測左邊的數是否小於右邊的，如果是，則返回 true。 [ $a -lt $b ] 返回 true。
• -ge： 檢測左邊的數是否大於等於右邊的，如果是，則返回 true。 [ $a -ge $b ] 返回 false。
• -le ： 檢測左邊的數是否小於等於右邊的，如果是，則返回 true。 [ $a -le $b ] 返回 true。
  字符串運算符
  下表列出了常用的字符串運算符，假定變量 a 為 "abc"，變量 b 為 "efg"：
• = ：檢測兩個字符串是否相等，相等返回 true。 [ $a = $b ] 返回 false。
• != ：檢測兩個字符串是否相等，不相等返回 true。 [ $a != $b ] 返回 true。
• -z ：檢測字符串長度是否為0，為0返回 true。 [ -z $a ] 返回 false。
• -n ：檢測字符串長度是否為0，不為0返回 true。 [ -n "$a" ] 返回 true。
• $ ：檢測字符串是否為空，不為空返回 true。 [ $a ] 返回 true。
  布爾運算符
  下表列出了常用的布爾運算符，假定變量 a 為 10，變量 b 為 20：
• ! ：非運算，表達式為 true 則返回 false，否則返回 true。 [ ! false ] 返回 true。
• -o ：或運算，有一個表達式為 true 則返回 true。 [ $a -lt 20 -o $b -gt 100 ] 返回 true。
• -a ：與運算，兩個表達式都為 true 才返回 true。 [ $a -lt 20 -a $b -gt 100 ] 返回 false。

邏輯運算符
以下介紹 Shell 的邏輯運算符，假定變量 a 為 10，變量 b 為 20:

• && ：邏輯的 AND [[ $a -lt 100 && $b -gt 100 ]] 返回 false
• || ：邏輯的 OR [[ $a -lt 100 || $b -gt 100 ]] 返回 true

文件運算符

• -b file ：檢測文件是否是塊設備文件，如果是，則返回 true。 [ -b $file ] 返回 false。
• -c file ：檢測文件是否是字符設備文件，如果是，則返回 true。 [ -c $file ] 返回 false。
• -d file ：檢測文件是否是目錄，如果是，則返回 true。 [ -d $file ] 返回 false。
• -f file ：檢測文件是否是普通文件（既不是目錄，也不是設備文件），如果是，則返回 true。 [ -f $file ] 返回 true。
• -g file ：檢測文件是否設置了 SGID 位，如果是，則返回 true。 [ -g $file ] 返回 false。
• -k file ：檢測文件是否設置了粘着位(Sticky Bit)，如果是，則返回 true。 [ -k $file ] 返回 false。
• -p file ：檢測文件是否是有名管道，如果是，則返回 true。 [ -p $file ] 返回 false。
• -u file ：檢測文件是否設置了 SUID 位，如果是，則返回 true。 [ -u $file ] 返回 false。
• -r file ：檢測文件是否可讀，如果是，則返回 true。 [ -r $file ] 返回 true。
• -w file ：檢測文件是否可寫，如果是，則返回 true。 [ -w $file ] 返回 true。
• -x file ：檢測文件是否可執行，如果是，則返回 true。 [ -x $file ] 返回 true。
• -s file ：檢測文件是否為空（文件大小是否大於0），不為空返回 true。 [ -s $file ] 返回 true。
• -e file ：檢測文件（包括目錄）是否存在，如果是，則返回 true。 [ -e $file ] 返回 true。

執行相關

命令替換
命令替換與變量替換差不多，都是用來重組命令行的，先完成引號里的命令行，然后將其結果替換出來，再重組成新的命令行。
執行命令：

1. `ls /etc` ： 反引號 （所有的unix系統都支持）
2. $(ls /etc) ： $+() （部分unix系統不支持）
   多個嵌套使用時，從內向外執行for file in \s /etc\ 或 for file in $(ls /etc) 循環中使用
   `dirname \$0` 獲取腳本文件所在的目錄
   path=$(cd `dirname $0`;pwd) ： 獲取腳本當前所在目錄，並且執行cd命令到達該目錄，使用pwd獲取路徑並賦值到path變量

算術運算

1. $[ ] : 加減乘除,不必添加空格
2. $(( )) ：加減乘除等,不必添加空格

邏輯判斷

1. [ ] ： 中括號旁邊和運算符兩邊必須添加空格 （可以使用，不推薦）
2. [[ ]]：中括號旁邊和運算符兩邊必須添加空格 （字符串驗證時，推薦使用）
3. (()) ： 中括號旁邊和運算符兩邊必須添加空格 （數字驗證時，推薦使用）
4. [[]] 和 (()) 分別是[ ]的針對數學比較表達式和字符串表達式的加強版。
5. 使用[[ ... ]]條件判斷結構，而不是[ ... ]，能夠防止腳本中的許多邏輯錯誤。比如，&&、||、<和> 操作符能夠正常存在於[[ ]]條件判斷結構中，但是如果出現在[ ]結構中的話，會報錯。比如可以直接使用if [[ $a != 1 && $a != 2 ]], 如果不適用雙括號, 則為if [ $a -ne 1] && [ $a != 2 ]或者if [ $a -ne 1 -a $a != 2 ]。
   [[ ]]中增加模式匹配特效；
   (( ))不需要再將表達式里面的大小於符號轉義，除了可以使用標准的數學運算符外，還增加了以下符號

輸出

echo
僅用於字符串的輸出，沒有使用printf作為輸出的移植性好，建議使用printf

printf

printf 不會像 echo 自動添加換行符，我們可以手動添加 \n
無大括號，直接以空格分隔

• 格式：printf format-string [arguments...] 其中（format-string: 格式控制字符串、arguments: 參數列表）
• 案例：printf "%-10s %-8s %-4.2f\n" 郭靖 男 66.1234
• %s %c %d %f 都是格式替代符
• d：Decimal 十進制整數 對應位置參數必須是十進制整數，否則報錯!
• s：String 字符串 對應位置參數必須是字符串或者字符型 否則報錯
• c：Char 字符 對應位置參數必須是字符串或者字符型 否則報錯
• f：Float 浮點 對應位置參數必須是數字型 否則報錯
• %-10s ： 指一個寬度為10個字符（-表示左對齊，沒有則表示右對齊），任何字符都會被顯示在10個字符寬的字符內，如果不足則自動以空格填充，超過也會將內容全部顯示出來。
• %-4.2f ：指格式化為小數，寬度為4個字符，其中.2指保留2位小數。
• 轉義符：
• \a ：警告字符，通常為ASCII的BEL字符
• \b ：后退
• \c ：抑制（不顯示）輸出結果中任何結尾的換行字符（只在%b格式指示符控制下的參數字符串中有效），而且，任何留在參數里的字符、任何接下來的參數以及任何留在格式字符串中的字符，都被忽略
• \f ：換頁（formfeed）
• \n ：換行
• \r ：回車（Carriage return）
• \t ：水平制表符
• \v ：垂直制表符
• \ ：一個字面上的反斜杠字符
• \ddd ：表示1到3位數八進制值的字符。僅在格式字符串中有效
• \0ddd ：表示1到3位的八進制值字符

流程控制

和Java、PHP等語言不一樣，sh的流程控制不可為空，即if或者else的大括號中無任何語句
if else

• ifif condition then command1 command2 ... commandN fi
• if elseif condition then command1 command2 ... commandN else command fi
• if else-if elseif condition1 then command1 elif condition2 then command2 else commandN fi

for

for var in item1 item2 ... itemN do command1 command2 ... commandN done

while

• while conditionwhile condition do command done
• while 無限循環while : do command done

until
until 循環執行一系列命令直至條件為 true 時停止。
until 循環與 while 循環在處理方式上剛好相反。

until condition do command done

case
Shell case語句為多選擇語句。可以用case語句匹配一個值與一個模式，如果匹配成功，執行相匹配的命令。
case需要一個esac（就是case反過來）作為結束標記，每個case分支用右圓括號，用兩個分號表示break，其中“;;”不是跳出循環，是不在去匹配下面的模式
case語句格式如下：

case 值 in 模式1) command1 command2 ... commandN ;; 模式2） command1 command2 ... commandN ;; esac

跳出循環

1. break ：跳出總循環
2. continue：跳出當前循環，繼續下一次循環

定義函數

可以帶function fun() 定義，也可以直接fun() 定義,不帶任何參數。

• 函數定義[ function ] funname() { action; [return int;] }
• 參數傳遞
• 調用函數: fun_name 2 3 4
• 函數中使用：和shell取用函數相同 $n $# $* $? 或者加上{}funWithParam(){ echo "第一個參數為 $1 !" echo "第二個參數為 $2 !" echo "第十個參數為 $10 !" echo "第十個參數為 ${10} !" echo "第十一個參數為 ${11} !" echo "參數總數有 $# 個!" echo "作為一個字符串輸出所有參數 $* !"} funWithParam 1 2 3 4 5 6 7 8 9 34 73 echo $? \# 判斷執行是否成功
• 函數返回值
• return字樣可存在也可不存在
• return 只能為 return [0-255]，此處的返回可作為函數執行的狀態，通過$?獲取的便是這個返回值
• 如果不加return ， 則默認最后一條語句的執行狀態所為函數執行狀態的返回值，如果最后一條語句執行成功，則$?為0，否則不為0
• 使用函數返回值（Janusgraph圖數據庫官方啟動服務腳本片段）
• return返回的數字，只是作為函數執行狀態的返回值，也就是接下來$?獲取的值
• 對於類似於下面的BIN=\abs_path``語句，獲取的是函數體內所有的echo、printf輸出組合成的一個字符串 abs_path() { SOURCE="${BASH_SOURCE[0]}" while [ -h "$SOURCE" ]; do DIR="$( cd -P "$( dirname "$SOURCE" )" && pwd )" SOURCE="$(readlink "$SOURCE")" [[ $SOURCE != /* ]] && SOURCE="$DIR/$SOURCE" done echo "test" echo "$( cd -P "$( dirname "$SOURCE" )" && pwd )" # 此函數的兩個echo輸出會組合成一個字符串作為下述BIN的值 }

BIN=abs_path # BIN賦值函數返回值，如果沒有return，則函數中所有的echo、printf輸出組合成一個字符串傳入BIN
path=${BIN}/nodetool # 可直接使用

1. #### 輸入輸出重定向
2. 一般情況下，每個 Unix/Linux 命令運行時都會打開三個文件：
3. * 標准輸入文件(stdin)：stdin的文件描述符為0，Unix程序默認從stdin讀取數據。
4. * 標准輸出文件(stdout)：stdout 的文件描述符為1，Unix程序默認向stdout輸出數據。
5. * 標准錯誤文件(stderr)：stderr的文件描述符為2，Unix程序會向stderr流中寫入錯誤信息。
6. 默認情況下，command > file 將 stdout 重定向到 file，command < file 將stdin 重定向到 file。
7. 如果希望執行某個命令，但又不希望在屏幕上顯示輸出結果，那么可以將輸出重定向到 /dev/null：
8. **輸入重定向**
9. 1. bash.sh < file ： 將腳本的輸入重定向到file，由file提供參數
10. **輸出重定向**
11. 1. bash.sh > file ： 將腳本的輸出數據重定向到file中，覆蓋數據
12. 2. bash.sh >> file ： 將腳本的輸出數據重定向到file中，追加數據
13. 3. command >> file 2>&1 ： 將 stdout 和 stderr 合並后重定向到 file
14. #### 讀取外部輸入
15. 命令：`read arg` （腳本讀取外部輸入並賦值到變量上）
16. 在shell腳本執行到上述命令時，停止腳本執行並等待外部輸入，將外部輸入賦值到arg變量上，繼續執行腳本
17. #### 文件引用
18. 引用其他的文件之后，可以使用其變量、函數等等，相當於將引用的文件包含進了當前文件
19. 兩種方式：
20. 1. **.** file_path\file_name
21. 2. **source** file_path\file_name
22. #### 顏色標識
23. ```shell
24. printf "\033[32m SUCCESS: yay \033[0m\n";
25. printf "\033[33m WARNING: hmm \033[0m\n";
26. printf "\033[31m ERROR: fubar \033[0m\n";

輸出結果：

長句換行

在shell中為避免一個語句過長，可以使用“\”進行換行
使用“\”換行，在腳本執行過程中還是當做一行一個語句執行，不同於enter直接換行

注意：\ 前添加一個空格 。 \ 后無空格直接換行。
/mysql/bin/mysql \ -h test_host -P 000 \ -u test_user -ptest_password ;

shell操作mysql

下面案例為登錄mysql，並選擇操作數據庫，之后進行導入數據

/mysql/mysql/bin/mysql \ -h test_host -P 000 \ -u test_user -ptest_password \ -e"use test_database; source data_faile; " # -e 代表執行sql語句

-u 用戶名
-p 用戶密碼
-h 服務器ip地址
-D 連接的數據庫
-N 不輸出列信息
-B 使用tab鍵 代替 分隔符
-e 執行的SQL語句
退出腳本命令：exit

在退出腳本時使用不同的錯誤碼，這樣可以根據錯誤碼來判斷發生了什么錯誤。

在絕大多數 shell 腳本中，exit 0 表示執行成功，exit 1 表示發生錯誤。
對錯誤與錯誤碼進行一對一的映射，這樣有助於腳本調試。

命令：set -e 或者 set +e
set -e表示從當前位置開始，如果出現任何錯誤都將觸發exit。相反，set +e表示不管出現任何錯誤繼續執行腳本。

如果腳本是有狀態的（每個后續步驟都依賴前一個步驟），那么請使用set -e，在腳本出現錯誤時立即退出腳本。
如果要求所有命令都要執行完（很少會這樣），那么就使用set +e。

shell腳本調試

檢查是否有語法錯誤-n：
bash -n script_name.sh
使用下面的命令來執行並調試 Shell 腳本-x：
bash -x script_name.sh
調試count_odd_number.sh 程序案例：

1. #!/usr/bin.env bash
2. # 用於計算數組中奇數的和
3. # @author liyangyang
4. # @time 2019/09/17
5. sum=0
6. for num in 1 2 3 4;do
7. re=${num}%2
8. if (( ${re} == 1 ));then
9. sum=$[${sum}+${num}]
10. fi
11. done
12. echo ${sum}

 

1. 首先檢查有無語法錯誤：
   bash -n count_odd_number.sh
2. 沒有輸出，說明沒有錯誤，開始實際調試：
   bash -x count_odd_number.sh
3. 調試結果如下：
1. + sum=0
2. + for num in 1 2 3 4
3. + re=1%2
4. + (( 1%2 == 1 ))
5. + sum=1
6. + for num in 1 2 3 4
7. + re=2%2
8. + (( 2%2 == 1 ))
9. + for num in 1 2 3 4
10. + re=3%2
11. + (( 3%2 == 1 ))
12. + sum=4
13. + for num in 1 2 3 4
14. + re=4%2
15. + (( 4%2 == 1 ))
16. + echo 4
17. 4

 

1. 其中的輸出顯示了程序執行的每一步，通過觀察程序執行的步驟是否滿足預期從而達到調試的效果
   帶有 + 表示的是 Shell 調試器的輸出，不帶 + 表示程序的輸出。

案例：

這是es（ElasticSearch）官方啟動服務的腳本，看可不可以理解吧~

1. #!/usr/bin/env bash
2. # CONTROLLING STARTUP:
3. #
4. # This script relies on a few environment variables to determine startup
5. # behavior, those variables are:
6. #
7. # ES_PATH_CONF -- Path to config directory
8. # ES_JAVA_OPTS -- External Java Opts on top of the defaults set
9. #
10. # Optionally, exact memory values can be set using the `ES_JAVA_OPTS`. Note that
11. # the Xms and Xmx lines in the JVM options file must be commented out. Example
12. # values are "512m", and "10g".
13. #
14. # ES_JAVA_OPTS="-Xms8g -Xmx8g" ./bin/elasticsearch
15. source "`dirname "$0"`"/elasticsearch-env
16. parse_jvm_options() {
17. if [ -f "$1" ]; then
18. echo "`grep "^-" "$1" | tr '\n' ' '`"
19. fi
20. }
21. ES_JVM_OPTIONS="$ES_PATH_CONF"/jvm.options
22. ES_JAVA_OPTS="`parse_jvm_options "$ES_JVM_OPTIONS"` $ES_JAVA_OPTS"
23. # manual parsing to find out, if process should be detached
24. if ! echo $* | grep -E '(^-d |-d$| -d |--daemonize$|--daemonize )' > /dev/null; then
25. exec \
26. "$JAVA" \
27. $ES_JAVA_OPTS \
28. -Des.path.home="$ES_HOME" \
29. -Des.path.conf="$ES_PATH_CONF" \
30. -cp "$ES_CLASSPATH" \
31. org.elasticsearch.bootstrap.Elasticsearch \
32. "$@"
33. else
34. exec \
35. "$JAVA" \
36. $ES_JAVA_OPTS \
37. -Des.path.home="$ES_HOME" \
38. -Des.path.conf="$ES_PATH_CONF" \
39. -cp "$ES_CLASSPATH" \
40. org.elasticsearch.bootstrap.Elasticsearch \
41. "$@" \
42. <&- &
43. retval=$?
44. pid=$!
45. [ $retval -eq 0 ] || exit $retval
46. if [ ! -z "$ES_STARTUP_SLEEP_TIME" ]; then
47. sleep $ES_STARTUP_SLEEP_TIME
48. fi
49. if ! ps -p $pid > /dev/null ; then
50. exit 1
51. fi
52. exit 0
53. fi
54. exit $?