shell

shell

shell是外殼的意思，就是操作系統的外殼。我們可以通過shell命令來操作和控制操作系統，比如Linux中的Shell命令就包括ls、cd、pwd等等。總結來說，Shell是一個命令解釋器，它通過接受用戶輸入的Shell命令來啟動、暫停、停止程序的運行或對計算機進行控制。

shell 是一個應用程序，它連接了用戶和 Linux 內核，讓用戶能夠更加高效、安全、低成本地使用 Linux 內核，這就是 Shell 的本質。

shell 本身並不是內核的一部分，它只是站在內核的基礎上編寫的一個應用程序。

那么什么是shell腳本呢？

shell腳本就是由Shell命令組成的執行文件，將一些命令整合到一個文件中，進行處理業務邏輯，腳本不用編譯即可運行。它通過解釋器解釋運行，所以速度相對來說比較慢。

shell腳本中最重要的就是對shell命令的使用與組合，再使用shell腳本支持的一些語言特性，完成想要的功能。

注釋

“# ”開頭的就是注釋，被編譯器忽略

• 單行注釋： #

變量

變量類型
運行shell時，會同時存在三種變量：

1. 局部變量：局部變量在腳本或命令中定義，僅在當前shell實例中有效，其他shell啟動的程序不能訪問局部變量。
2. 環境變量：所有的程序，包括shell啟動的程序，都能訪問環境變量，有些程序需要環境變量來保證其正常運行。必要的時候shell腳本也可以定義環境變量。
3. shell變量：shell變量是由shell程序設置的特殊變量。shell變量中有一部分是環境變量，有一部分是局部變量，這些變量保證了shell的正常運行

變量操作

• 創建普通變量： name="test" （=兩邊不可有空格）
• 創建只可函數體中使用的局部變量： local name="test" （使用local修飾的變量在函數體外無法訪問，並且local只能在函數體內使用）
• 使用變量： echo $name 或者 echo ${name} （推薦使用大括號版）
• 變量重新賦值： name="new_test" （將原值覆蓋）
• 只讀變量： name="only_read" -> readonly name （使用readonly標識后的變量，不可被修改）
• 刪除變量： unset name; （刪除之后不可訪問，刪除不掉只讀變量）

字符串變量
1）單引號

• 單引號變量var='test' ，只能原樣輸出，變量無效
• 單引號中不能出現一個單獨的單引號，轉義也不可以

2）雙引號

• 雙引號變量var="my name is ${name}"，變量有效
• 可出現轉義符

3）拼接字符串

• 中間無任何+，之類的字符
• name="this is"" my name"; name="this is my name"; name="this" is "my name" 等效
• name='this is'' my nam'; name='this is my name'; name='this' is 'my name' 等效

4）獲取字符串長度

• 在${}中使用“#”獲取長度
• name="test";
• echo ${#name}; # 輸出為4

5）提取子字符串

• 1:4 從第2個開始 往后截取4個字符
• ::4 從第一個字符開始 往后截取4個字符
• name="this is my name";
• echo ${name:1:4} #輸出 is i
• echo ${name::4} #輸出 this

數組

bash只支持一維數組，不支持多維數組

• 定義數組：array_name=(li wang xiang zhang) （小括號做邊界、使用空格分離）

• 單獨定義數組的元素： array_para[0]="w"; array_para[3]="s" （定義時下標不連續也可以）

• 賦值數組元素：array_name[0]="zhao";

• 獲取數組元素：

• • array_name[0]="li"
  • array_name[3]="zhang"
  • echo ${array_name[0]} # 輸出"li"
  • echo ${array_name[1]} # 輸出" "
  • echo ${array_name[3]} # 輸出"zhang"
  • echo ${array_name[@]} # 輸出"li zhang" 輸出數組所有元素，沒有元素的下標省略

• 取得元素個數：${#array_name[@]} 或者 ${#array_name

• }

• 取得單個元素長度：${#array_name[1]}

參數傳遞

• 獲取參數值：

• • $0 ： 固定，代表執行的文件名
  • $1 ： 代表傳入的第1個參數
  • $n ： 代表傳入的第n個參數

• $#：參數個數

• $： 以一個單字符串顯示所有向腳本傳遞的參數。如"$"用「"」括起來的情況、以"$1 $2 … $n"的形式輸出所有參數

• $@：與$*相同，但是使用時加引號，並在引號中返回每個參數。

• $$：腳本運行的當前進程號

• $！：后台運行的最后一個進程的ID

• $?： 顯示最后命令的退出狀態。0表示沒有錯誤，其他任何值表明有錯誤。

• $* 與 $@ 區別

• • 相同點：都是引用所有參數。
  • 不同點：只有在雙引號中體現出來。假設在腳本運行時寫了三個參數 1、2、3，，則 " * " 等價於 "1 2 3"（傳遞了一個參數），而 "@" 等價於 "1" "2" "3"（傳遞了三個參數）。

運算符

算數運算

• + 、-、*、\ ： 乘號前必須加\進行轉義才可以進行乘法運算

• 加法運算

• • val=expr 2 + 2 （使用linux命令expr進行輔助運算）
  • val=$[2+2] （4個空格不是必要的，不同於條件判斷）
  • val=$((2+2))

數字關系運算符
關系運算符只支持數字，不支持字符串，除非字符串的值是數字。
下面假定變量 a 為 10，變量 b 為 20

• -eq ：檢測兩個數是否相等，相等返回 true。 [ $a -eq $b ] 返回 false。
• -ne： 檢測兩個數是否不相等，不相等返回 true。 [ $a -ne $b ] 返回 true。
• -gt： 檢測左邊的數是否大於右邊的，如果是，則返回 true。 [ $a -gt $b ] 返回 false。
• -lt ： 檢測左邊的數是否小於右邊的，如果是，則返回 true。 [ $a -lt $b ] 返回 true。
• -ge： 檢測左邊的數是否大於等於右邊的，如果是，則返回 true。 [ $a -ge $b ] 返回 false。
• -le ： 檢測左邊的數是否小於等於右邊的，如果是，則返回 true。 [ $a -le $b ] 返回 true。

字符串運算符
下表列出了常用的字符串運算符，假定變量 a 為 "abc"，變量 b 為 "efg"：

• = ：檢測兩個字符串是否相等，相等返回 true。 [ $a = $b ] 返回 false。
• != ：檢測兩個字符串是否相等，不相等返回 true。 [ $a != $b ] 返回 true。
• -z ：檢測字符串長度是否為0，為0返回 true。 [ -z $a ] 返回 false。
• -n ：檢測字符串長度是否為0，不為0返回 true。 [ -n "$a" ] 返回 true。
• $ ：檢測字符串是否為空，不為空返回 true。 [ $a ] 返回 true。

布爾運算符
下表列出了常用的布爾運算符，假定變量 a 為 10，變量 b 為 20：

• ! ：非運算，表達式為 true 則返回 false，否則返回 true。 [ ! false ] 返回 true。
• -o ：或運算，有一個表達式為 true 則返回 true。 [ $a -lt 20 -o $b -gt 100 ] 返回 true。
• -a ：與運算，兩個表達式都為 true 才返回 true。 [ $a -lt 20 -a $b -gt 100 ] 返回 false。

邏輯運算符
以下介紹 Shell 的邏輯運算符，假定變量 a 為 10，變量 b 為 20:

• && ：邏輯的 AND [[ $a -lt 100 && $b -gt 100 ]] 返回 false
• || ：邏輯的 OR [[ $a -lt 100 || $b -gt 100 ]] 返回 true

文件運算符

• -b file ：檢測文件是否是塊設備文件，如果是，則返回 true。 [ -b $file ] 返回 false。
• -c file ：檢測文件是否是字符設備文件，如果是，則返回 true。 [ -c $file ] 返回 false。
• -d file ：檢測文件是否是目錄，如果是，則返回 true。 [ -d $file ] 返回 false。
• -f file ：檢測文件是否是普通文件（既不是目錄，也不是設備文件），如果是，則返回 true。 [ -f $file ] 返回 true。
• -g file ：檢測文件是否設置了 SGID 位，如果是，則返回 true。 [ -g $file ] 返回 false。
• -k file ：檢測文件是否設置了粘着位(Sticky Bit)，如果是，則返回 true。 [ -k $file ] 返回 false。
• -p file ：檢測文件是否是有名管道，如果是，則返回 true。 [ -p $file ] 返回 false。
• -u file ：檢測文件是否設置了 SUID 位，如果是，則返回 true。 [ -u $file ] 返回 false。
• -r file ：檢測文件是否可讀，如果是，則返回 true。 [ -r $file ] 返回 true。
• -w file ：檢測文件是否可寫，如果是，則返回 true。 [ -w $file ] 返回 true。
• -x file ：檢測文件是否可執行，如果是，則返回 true。 [ -x $file ] 返回 true。
• -s file ：檢測文件是否為空（文件大小是否大於0），不為空返回 true。 [ -s $file ] 返回 true。
• -e file ：檢測文件（包括目錄）是否存在，如果是，則返回 true。 [ -e $file ] 返回 true。

執行相關

命令替換
命令替換與變量替換差不多，都是用來重組命令行的，先完成引號里的命令行，然后將其結果替換出來，再重組成新的命令行。
執行命令：

1. ls /etc ： 反引號 （所有的unix系統都支持）
2. $(ls /etc) ： $+() （部分unix系統不支持）
   多個嵌套使用時，從內向外執行for file in \s /etc\ 或 for file in $(ls /etc) 循環中使用
   dirname \$0 獲取腳本文件所在的目錄
   path=$(cd dirname $0;pwd) ： 獲取腳本當前所在目錄，並且執行cd命令到達該目錄，使用pwd獲取路徑並賦值到path變量

算術運算

1. $[ ] : 加減乘除,不必添加空格
2. $(( )) ：加減乘除等,不必添加空格

邏輯判斷

1. [ ] ： 中括號旁邊和運算符兩邊必須添加空格 （可以使用，不推薦）
2. [[ ]]：中括號旁邊和運算符兩邊必須添加空格 （字符串驗證時，推薦使用）
3. (()) ： 中括號旁邊和運算符兩邊必須添加空格 （數字驗證時，推薦使用）
4. [[]] 和 (()) 分別是[ ]的針對數學比較表達式和字符串表達式的加強版。
5. 使用[[ ... ]]條件判斷結構，而不是[ ... ]，能夠防止腳本中的許多邏輯錯誤。比如，&&、||、<和> 操作符能夠正常存在於[[ ]]條件判斷結構中，但是如果出現在[ ]結構中的話，會報錯。比如可以直接使用if [[ $a != 1 && $a != 2 ]], 如果不適用雙括號, 則為if [ $a -ne 1] && [ $a != 2 ]或者if [ $a -ne 1 -a $a != 2 ]。
   [[ ]]中增加模式匹配特效；
   (( ))不需要再將表達式里面的大小於符號轉義，除了可以使用標准的數學運算符外，還增加了以下符號

輸出

echo
僅用於字符串的輸出，沒有使用printf作為輸出的移植性好，建議使用printf

printf

printf 不會像 echo 自動添加換行符，我們可以手動添加 \n
無大括號，直接以空格分隔

• 格式：printf format-string [arguments...] 其中（format-string: 格式控制字符串、arguments: 參數列表）

• 案例：printf "%-10s %-8s %-4.2f\n" 郭靖 男 66.1234

• %s %c %d %f 都是格式替代符

• • d：Decimal 十進制整數 對應位置參數必須是十進制整數，否則報錯!
  • s：String 字符串 對應位置參數必須是字符串或者字符型 否則報錯
  • c：Char 字符 對應位置參數必須是字符串或者字符型 否則報錯
  • f：Float 浮點 對應位置參數必須是數字型 否則報錯

• %-10s ： 指一個寬度為10個字符（-表示左對齊，沒有則表示右對齊），任何字符都會被顯示在10個字符寬的字符內，如果不足則自動以空格填充，超過也會將內容全部顯示出來。

• %-4.2f ：指格式化為小數，寬度為4個字符，其中.2指保留2位小數。

• 轉義符：

• • \a ：警告字符，通常為ASCII的BEL字符
  • \b ：后退
  • \c ：抑制（不顯示）輸出結果中任何結尾的換行字符（只在%b格式指示符控制下的參數字符串中有效），而且，任何留在參數里的字符、任何接下來的參數以及任何留在格式字符串中的字符，都被忽略
  • \f ：換頁（formfeed）
  • \n ：換行
  • \r ：回車（Carriage return）
  • \t ：水平制表符
  • \v ：垂直制表符
  • \ ：一個字面上的反斜杠字符
  • \ddd ：表示1到3位數八進制值的字符。僅在格式字符串中有效
  • \0ddd ：表示1到3位的八進制值字符

流程控制

和Java、PHP等語言不一樣，sh的流程控制不可為空，即if或者else的大括號中無任何語句

if

if 語句語法格式：
if condition
then
command1
command2
...
commandN
fi
寫成一行（適用於終端命令提示符）：
if [ $(ps -ef | grep -c "ssh") -gt 1 ]; then echo "true"; fi

if else

if else 語法格式：
if condition
then
command1
command2
...
commandN
else
command
fi

if else-if else

if else-if else 語法格式：

if condition1
then
command1
elif condition2
then
command2
else
commandN
fi

for

for循環一般格式為：

for var in item1 item2 ... itemN
do
command1
command2
...
commandN
done

寫成一行：

for var in item1 item2 ... itemN; do command1; command2… done;

當變量值在列表里，for 循環即執行一次所有命令，使用變量名獲取列表中的當前取值。命令可為任何有效的 shell 命令和語句。in 列表可以包含替換、字符串和文件名。

in列表是可選的，如果不用它，for循環使用命令行的位置參數。

while

while 循環用於不斷執行一系列命令，也用於從輸入文件中讀取數據。其語法格式為：

while condition
do
command
done

int=1
while(( $int<=5 ))
do
echo $int
let "int++"
done

無限循環

無限循環語法格式：

while :
do
command
done
或者

while true
do
command
done
或者

for (( ; ; ))

until 循環

until 循環執行一系列命令直至條件為 true 時停止。

until 循環與 while 循環在處理方式上剛好相反。

一般 while 循環優於 until 循環，但在某些時候—也只是極少數情況下，until 循環更加有用。

until 語法格式:

until condition
do
command
done
condition 一般為條件表達式，如果返回值為 false，則繼續執行循環體內的語句，否則跳出循環。

以下實例我們使用 until 命令來輸出 0 ~ 9 的數字：

實例
a=0

until [ ! $a -lt 10 ]
do
echo $a
a=expr $a + 1
done
運行結果：

輸出結果為：

0
1
2
3
4
5
6
7
8
9

case ... esac

case ... esac 為多選擇語句，與其他語言中的 switch ... case 語句類似，是一種多分枝選擇結構，每個 case 分支用右圓括號開始，用兩個分號 ;; 表示 break，即執行結束，跳出整個 case ... esac 語句，esac（就是 case 反過來）作為結束標記。

可以用 case 語句匹配一個值與一個模式，如果匹配成功，執行相匹配的命令。

case ... esac 語法格式如下：

case 值 in
模式1)
command1
command2
...
commandN
;;
模式2）
command1
command2
...
commandN
;;
esac
case 工作方式如上所示，取值后面必須為單詞 in，每一模式必須以右括號結束。取值可以為變量或常數，匹配發現取值符合某一模式后，其間所有命令開始執行直至 ;;。

取值將檢測匹配的每一個模式。一旦模式匹配，則執行完匹配模式相應命令后不再繼續其他模式。如果無一匹配模式，使用星號 * 捕獲該值，再執行后面的命令。

下面的腳本提示輸入 1 到 4，與每一種模式進行匹配：

實例
echo '輸入 1 到 4 之間的數字:'
echo '你輸入的數字為:'
read aNum
case $aNum in
1) echo '你選擇了 1'
;;
2) echo '你選擇了 2'
;;
3) echo '你選擇了 3'
;;
4) echo '你選擇了 4'
;;
*) echo '你沒有輸入 1 到 4 之間的數字'
;;
esac
輸入不同的內容，會有不同的結果，例如：

輸入 1 到 4 之間的數字:
你輸入的數字為:
3
你選擇了 3

跳出循環

在循環過程中，有時候需要在未達到循環結束條件時強制跳出循環，Shell使用兩個命令來實現該功能：break和continue。

break命令
break命令允許跳出所有循環（終止執行后面的所有循環）。

下面的例子中，腳本進入死循環直至用戶輸入數字大於5。要跳出這個循環，返回到shell提示符下，需要使用break命令。

實例
while :
do
echo -n "輸入 1 到 5 之間的數字:"
read aNum
case $aNum in
1|2|3|4|5) echo "你輸入的數字為 $aNum!"
;;
*) echo "你輸入的數字不是 1 到 5 之間的! 游戲結束"
break
;;
esac
done
執行以上代碼，輸出結果為：

輸入 1 到 5 之間的數字:3
你輸入的數字為 3!
輸入 1 到 5 之間的數字:7
你輸入的數字不是 1 到 5 之間的! 游戲結束

continue
continue命令與break命令類似，只有一點差別，它不會跳出所有循環，僅僅跳出當前循環。

對上面的例子進行修改：

實例
while :
do
echo -n "輸入 1 到 5 之間的數字: "
read aNum
case $aNum in
1|2|3|4|5) echo "你輸入的數字為 $aNum!"
;;
*) echo "你輸入的數字不是 1 到 5 之間的!"
continue
echo "游戲結束"
;;
esac
done
運行代碼發現，當輸入大於5的數字時，該例中的循環不會結束，語句 echo "游戲結束" 永遠不會被執行。

定義函數

可以帶function fun() 定義，也可以直接fun() 定義,不帶任何參數。

• 函數定義[ function ] funname() { action; [return int;] }

• 參數傳遞

• • 調用函數: fun_name 2 3 4
  • 函數中使用：和shell取用函數相同 $n $# $* $? 或者加上{}funWithParam(){ echo "第一個參數為 $1 !" echo "第二個參數為 $2 !" echo "第十個參數為 $10 !" echo "第十個參數為 ${10} !" echo "第十一個參數為 ${11} !" echo "參數總數有 $# 個!" echo "作為一個字符串輸出所有參數 $* !"} funWithParam 1 2 3 4 5 6 7 8 9 34 73 echo $? # 判斷執行是否成功

• 函數返回值

• • return字樣可存在也可不存在
  • return 只能為 return [0-255]，此處的返回可作為函數執行的狀態，通過$?獲取的便是這個返回值
  • 如果不加return ， 則默認最后一條語句的執行狀態所為函數執行狀態的返回值，如果最后一條語句執行成功，則$?為0，否則不為0

• 使用函數返回值（Janusgraph圖數據庫官方啟動服務腳本片段）

• • return返回的數字，只是作為函數執行狀態的返回值，也就是接下來$?獲取的值
  • 對於類似於下面的BIN=\abs_path``語句，獲取的是函數體內所有的echo、printf輸出組合成的一個字符串 abs_path() { SOURCE="${BASH_SOURCE[0]}" while [ -h "$SOURCE" ]; do DIR="$( cd -P "$( dirname "$SOURCE" )" && pwd )" SOURCE="$(readlink "$SOURCE")" [[ $SOURCE != /* ]] && SOURCE="$DIR/$SOURCE" done echo "test" echo "$( cd -P "$( dirname "$SOURCE" )" && pwd )" # 此函數的兩個echo輸出會組合成一個字符串作為下述BIN的值 }

BIN=abs_path # BIN賦值函數返回值，如果沒有return，則函數中所有的echo、printf輸出組合成一個字符串傳入BIN
path=${BIN}/nodetool # 可直接使用

1. #### 輸入輸出重定向
2. 一般情況下，每個 Unix/Linux 命令運行時都會打開三個文件：
3. * 標准輸入文件(stdin)：stdin的文件描述符為0，Unix程序默認從stdin讀取數據。
4. * 標准輸出文件(stdout)：stdout 的文件描述符為1，Unix程序默認向stdout輸出數據。
5. * 標准錯誤文件(stderr)：stderr的文件描述符為2，Unix程序會向stderr流中寫入錯誤信息。
6. 默認情況下，command > file 將 stdout 重定向到 file，command < file 將stdin 重定向到 file。
7. 如果希望執行某個命令，但又不希望在屏幕上顯示輸出結果，那么可以將輸出重定向到 /dev/null：
8. 輸入重定向
9. \1. bash.sh < file ： 將腳本的輸入重定向到file，由file提供參數
10. 輸出重定向
11. \1. bash.sh > file ： 將腳本的輸出數據重定向到file中，覆蓋數據
12. \2. bash.sh >> file ： 將腳本的輸出數據重定向到file中，追加數據
13. \3. command >> file 2>&1 ： 將 stdout 和 stderr 合並后重定向到 file
14. #### 讀取外部輸入
15. 命令：read arg （腳本讀取外部輸入並賦值到變量上）
16. 在shell腳本執行到上述命令時，停止腳本執行並等待外部輸入，將外部輸入賦值到arg變量上，繼續執行腳本
17. #### 文件引用
18. 引用其他的文件之后，可以使用其變量、函數等等，相當於將引用的文件包含進了當前文件
19. 兩種方式：
20. \1. . file_path\file_name
21. \2. source file_path\file_name
22. #### 顏色標識
23. ```shell
24. printf "\033[32m SUCCESS: yay \033[0m\n";
25. printf "\033[33m WARNING: hmm \033[0m\n";
26. printf "\033[31m ERROR: fubar \033[0m\n";

長句換行

在shell中為避免一個語句過長，可以使用“\”進行換行
使用“\”換行，在腳本執行過程中還是當做一行一個語句執行，不同於enter直接換行

注意：\ 前添加一個空格 。 \ 后無空格直接換行。
/mysql/bin/mysql \ -h test_host -P 000 \ -u test_user -ptest_password ;

shell操作mysql

下面案例為登錄mysql，並選擇操作數據庫，之后進行導入數據

/mysql/mysql/bin/mysql \ -h test_host -P 000 \ -u test_user -ptest_password \ -e"use test_database; source data_faile; " # -e 代表執行sql語句

-u 用戶名
-p 用戶密碼
-h 服務器ip地址
-D 連接的數據庫
-N 不輸出列信息
-B 使用tab鍵 代替 分隔符
-e 執行的SQL語句
退出腳本命令：exit

在退出腳本時使用不同的錯誤碼，這樣可以根據錯誤碼來判斷發生了什么錯誤。

在絕大多數 shell 腳本中，exit 0 表示執行成功，exit 1 表示發生錯誤。
對錯誤與錯誤碼進行一對一的映射，這樣有助於腳本調試。

命令：set -e 或者 set +e
set -e表示從當前位置開始，如果出現任何錯誤都將觸發exit。相反，set +e表示不管出現任何錯誤繼續執行腳本。

如果腳本是有狀態的（每個后續步驟都依賴前一個步驟），那么請使用set -e，在腳本出現錯誤時立即退出腳本。
如果要求所有命令都要執行完（很少會這樣），那么就使用set +e。

shell腳本調試

檢查是否有語法錯誤-n：
bash -n script_name.sh
使用下面的命令來執行並調試 Shell 腳本-x：
bash -x script_name.sh
調試count_odd_number.sh 程序案例：

1. #!/usr/bin.env bash

2. # 用於計算數組中奇數的和

3. # @author liyangyang

4. # @time 2019/09/17

5. sum=0

6. for num in 1 2 3 4;do

7. re=${num}%2

8. if (( ${re} == 1 ));then

9. sum=$[${sum}+${num}]

10. fi

11. done

12. echo ${sum}

13. 首先檢查有無語法錯誤：
    bash -n count_odd_number.sh

14. 沒有輸出，說明沒有錯誤，開始實際調試：
    bash -x count_odd_number.sh

15. 調試結果如下：

16. 1. + sum=0
    2. + for num in 1 2 3 4
    3. + re=1%2
    4. + (( 1%2 == 1 ))
    5. + sum=1
    6. + for num in 1 2 3 4
    7. + re=2%2
    8. + (( 2%2 == 1 ))
    9. + for num in 1 2 3 4
    10. + re=3%2
    11. + (( 3%2 == 1 ))
    12. + sum=4
    13. + for num in 1 2 3 4
    14. + re=4%2
    15. + (( 4%2 == 1 ))
    16. + echo 4
    17. 4

17. 其中的輸出顯示了程序執行的每一步，通過觀察程序執行的步驟是否滿足預期從而達到調試的效果
    帶有 + 表示的是 Shell 調試器的輸出，不帶 + 表示程序的輸出。

轉：https://zhuanlan.zhihu.com/p/264346586