shell 腳本的基礎知識
日常的linux系統管理工作中必不可少的就是shell腳本,如果不會寫shell腳本,那么你就不算一個合格的管理員。目前很多單位在招聘linux系統管理員時,shell腳本的編寫是必考的項目。有的單位甚至用shell腳本的編寫能力來衡量這個linux系統管理員的經驗是否豐富。筆者講這些的目的只有一個,那就是讓你認真對待shell腳本,從一開始就要把基礎知識掌握牢固,然后要不斷的練習,只要你shell腳本寫的好,相信你的linux求職路就會輕松的多。筆者在這一章中並不會多么詳細的介紹shell腳本,而只是帶你進入shell腳本的世界,如果你很感興趣那么請到網上下載相關的資料或者到書店購買相關書籍吧。
在學習shell 腳本之前,需要你了解很多關於shell的知識,這些知識是編寫shell腳本的基礎,所以希望你能夠熟練的掌握。
【什么是shell】
簡單點理解,就是系統跟計算機硬件交互時使用的中間介質,它只是系統的一個工具。實際上,在shell和計算機硬件之間還有一層東西那就是系統內核了。打個比方,如果把計算機硬件比作一個人的軀體,而系統內核則是人的大腦,至於shell,把它比作人的五官似乎更加貼切些。回到計算機上來,用戶直接面對的不是計算機硬件而是shell,用戶把指令告訴shell,然后shell再傳輸給系統內核,接着內核再去支配計算機硬件去執行各種操作。
筆者接觸的linux發布版本(Redhat/CentOS)系統默認安裝的shell叫做bash,即Bourne Again Shell,它是sh(Bourne Shell)的增強版本。Bourn Shell 是最早行起來的一個shell,創始人叫Steven Bourne,為了紀念他所以叫做Bourn Shell,檢稱sh。那么這個bash有什么特點呢?
1)記錄命令歷史
我們敲過的命令,linux是會有記錄的,預設可以記錄1000條歷史命令。這些命令保存在用戶的家目錄中的.bash_history文件中。有一點需要你知道的是,只有當用戶正常退出當前shell時,在當前shell中運行的命令才會保存至.bash_history文件中。
與命令歷史有關的有一個有意思的字符那就是”!”了。常用的有這么幾個應用:(1)!! (連續兩個”!”),表示執行上一條指令;(2)!n(這里的n是數字),表示執行命令歷史中第n條指令,例如”!100”表示執行命令歷史中第100個命令;(3)!字符串(字符串大於等於1),例如!ta,表示執行命令歷史中最近一次以ta為開頭的指令。
2)指令和文件名補全
在本教程最開始筆者就介紹過這個功能了,記得嗎?對了就是按tab鍵,它可以幫你補全一個指令,也可以幫你補全一個路徑或者一個文件名。連續按兩次tab鍵,系統則會把所有的指令或者文件名都列出來。
3)別名
前面也出現過alias的介紹,這個就是bash所特有的功能之一了。我們可以通過alias把一個常用的並且很長的指令別名一個簡潔易記的指令。如果不想用了,還可以用unalias解除別名功能。直接敲alias會看到目前系統預設的alias :

看到了吧,系統預設的alias指令也就這幾個而已,你也可以自定義你想要的指令別名。alias語法很簡單,alias [命令別名]=[’具體的命令’]。
4)通配符
在bash下,可以使用*來匹配零個或多個字符,而用?匹配一個字符。
5)輸入輸出從定向
輸入重定向用於改變命令的輸入,輸出重定向用於改變命令的輸出。輸出重定向更為常用,它經常用於將命令的結果輸入到文件中,而不是屏幕上。輸入重定向的命令是<,輸出重定向的命令是>,另外還有錯誤重定向2>,以及追加重定向>>,稍后會詳細介紹。
6)管道符
前面已經提過過管道符”|”,就是把前面的命令運行的結果丟給后面的命令。
7)作業控制。
當運行一個進程時,你可以使它暫停(按Ctrl+z),然后使用fg命令恢復它,利用bg命令使他到后台運行,你也可以使它終止(按Ctrl+c)。
【變量】
前面章節中筆者曾經介紹過環境變量PATH,這個環境變量就是shell預設的一個變量,通常shell預設的變量都是大寫的。變量,說簡單點就是使用一個較簡單的字符串來替代某些具有特殊意義的設定以及數據。就拿PATH來講,這個PATH就代替了所有常用命令的絕對路徑的設定。因為有了PATH這個變量,所以我們運行某個命令時不再去輸入全局路徑,直接敲命令名即可。你可以使用echo命令顯示變量的值。
除了PATH, HOME, LOGNAME外,系統預設的環境變量還有哪些呢?

PATH 決定了shell將到哪些目錄中尋找命令或程序
HOME 當前用戶主目錄
HISTSIZE 歷史記錄數
LOGNAME 當前用戶的登錄名
HOSTNAME 指主機的名稱
SHELL 前用戶Shell類型
LANG 語言相關的環境變量,多語言可以修改此環境變量
MAIL 當前用戶的郵件存放目錄
PWD 當前目錄
env命令顯示的變量只是環境變量,系統預設的變量其實還有很多,你可以使用set命令把系統預設的全部變量都顯示出來。
限於篇幅,筆者在上例中並沒有把所有顯示結果都截圖。set不僅可以顯示系統預設的變量,也可以連同用戶自定義的變量顯示出來。用戶自定義變量?是的,用戶自己同樣可以定義變量。
雖然你可以自定義變量,但是該變量只能在當前shell中生效,不信你再登錄一個shell試試?
使用bash命令即可再打開一個shell,此時先前設置的myname變量已經不存在了,退出當前shell回到原來的shell,myname變量還在。那要想設置的變量一直生效怎么辦?有兩種情況:
1)要想系統內所有用戶登錄后都能使用該變量
需要在/etc/profile文件最末行加入 “export myname=Aming” 然后運行”source /etc/profile”就可以生效了。此時你再運行bash命令或者直接su - test賬戶看看。
2)只想讓當前用戶使用該變量
需要在用戶主目錄下的.bashrc文件最后一行加入“export myname=Aming” 然后運行”source .bashrc”就可以生效了。這時候再登錄test賬戶,myname變量則不會生效了。上面用的source命令的作用是,講目前設定的配置刷新,即不用注銷再登錄也能生效。
筆者在上例中使用”myname=Aming”來設置變量myname,那么在linux下設置自定義變量有哪些規則呢?
a. 設定變量的格式為”a=b”,其中a為變量名,b為變量的內容,等號兩邊不能有空格;
b. 變量名只能由英、數字以及下划線組成,而且不能以數字開頭;
c. 當變量內容帶有特殊字符(如空格)時,需要加上單引號;
有一種情況,需要你注意,就是變量內容中本身帶有單引號,這就需要用到雙引號了。
d. 如果變量內容中需要用到其他命令運行結果則可以使用反引號;
e. 變量內容可以累加其他變量的內容,需要加雙引號;
在這里如果你不小心把雙引號加錯為單引號,將得不到你想要的結果
在前面的例子中筆者多次使用了bash命令,如果在當前shell中運行bash指令后,則會進入一個新的shell,這個shell就是原來shell的子shell了,不妨你用pstree指令來查看一下。
pstree這個指令會把linux系統中所有進程通過樹形結構打印出來。限於篇幅筆者沒有全部列出,你可以直接輸入pstree查看即可。在父shell中設定一個變量后,進入子shell后該變量是不會生效的,如果想讓這個變量在子shell中生效則要用到export指令,筆者曾經在前面用過。
export其實就是聲明一下這個變量的意思,讓該shell的子shell也知道變量abc的值是123.如果export后面不加任何變量名,則它會聲明所有的變量。
在最后面連同我們自定義的變量都被聲明了。
前面光講如何設置變量,如果想取消某個變量怎么辦?只要輸入”unset 變量名”即可。
用unset abc后,再echo $abc則不再輸出任何內容。
【系統環境變量與個人環境變量的配置文件】
上面講了很多系統的變量,那么在linux系統中,這些變量被存到了哪里呢,為什么用戶一登陸shell就自動有了這些變量呢?
/etc/profile:這個文件預設了幾個重要的變量,例如PATH, USER, LOGNAME, MAIL, INPUTRC, HOSTNAME, HISTSIZE, umas等等。
/etc/bashrc :這個文件主要預設umask以及PS1。這個PS1就是我們在敲命令時,前面那串字符了,例如筆者的linux系統PS1就是 [root@localhost ~]#,你不妨看一下PS1的值。
\u就是用戶,\h 主機名, \W 則是當前目錄,\$就是那個’#’了,如果是普通用戶則顯示為’$’
除了兩個系統級別的配置文件外,每個用戶的主目錄下還有幾個這樣的隱藏文件:
.bash_profile:定義了用戶的個人化路徑與環境變量的文件名稱。每個用戶都可使用該文件輸入專用於自己使用的shell信息,當用戶登錄時,該文件僅僅執行一次。
.bashrc:該文件包含專用於你的shell的bash信息,當登錄時以及每次打開新的shell時,該該文件被讀取。例如你可以將用戶自定義的alias或者自定義變量寫到這個文件中。
.bash_history:記錄命令歷史用的。
.bash_logout :當退出shell時,會執行該文件。可以把一些清理的工作放到這個文件中。
【linux shell中的特殊符號】
1. * :代表零個或多個字符或數字。
test后面可以沒有任何字符,也可以有多個字符,總之有或沒有都能匹配出來。
2. ? :只代表一個任意的字符
不管是數字還是字母,只要是一個都能匹配出來。
3. # :這個符號在linux中表示注釋說明的意思,即”#”后面的內容linux忽略掉。
在命令的開頭或者中間插入”#” ,linux都會忽略掉的。這個符號在shell腳本中用的很多。
4. \ :脫意字符,將后面的特殊符號(例如”*” )還原為普通字符。
5. | :管道符,前面多次說過,它的作用在於將符號前面命令的結果丟給符號后面的命令。這里提到的后面的命令,並不是所有的命令都可以的,一般針對文檔操作的命令比較常用,例如cat, less, head, tail, grep, cut, sort, wc, uniq, tee, tr, split, sed, awk等等,其中grep, sed, awk為正則表達式必須掌握的工具,在后續內容中詳細介紹。
6. $ :除了用於變量前面的標識符外,還有一個妙用,就是和’!’結合起來使用。
‘!$’表示上條命中中最后一個變量(也許稱為變量不合適,總之就是上條命令中最后出現的那個東西)例如上邊命令最后是test.txt那么在當前命令下輸入!$則代表test.txt。
1)grep:過濾一個或多個字符,將會在后續內容中詳細介紹其用法。
2) cut:截取某一個字段
語法:cut -d “分隔字符” [-cf] n 這里的n是數字
-d :后面跟分隔字符,分隔字符要用雙引號括起來
-c :后面接的是第幾個字符
-f :后面接的是第幾個區塊
-d 后面跟分隔字符,這里使用冒號作為分割字符,-f 1 就是截取第一段,-f和1之間的空格可有可無。
-c 后面可以是1個數字n,也可以是一個區間n1-n2,還可以是多個數字n1,n2,n3
3) sort:用做排序
語法:sort [-t 分隔符] [-kn1,n2] [-nru] 這里的n1 < n2
-t 分隔符:作用跟cut的-d一個意思
-n :使用純數字排序
-r :反向排序
-u :去重復
-kn1,n2 :由n1區間排序到n2區間,可以只寫-kn1,即對n1字段排序
4) wc:統計文檔的行數、字符數、詞數,常用的選項為:
-l :統計行數
-m :統計字符數
-w :統計詞數
5) uniq:去重復的行,筆者常用的選項只有一個:
-c :統計重復的行數,並把行數寫在前面
有一點需要注意,在進行uniq之前,需要先用sort排序然后才能uniq,否則你將得不到你想要的,筆者上面的試驗當中已經是排序過所以省略掉那步了。
6)tee :后跟文件名,類似與重定向”>”,但是比重定向多了一個功能,在把文件寫入后面所跟的文件中的同時,還顯示在屏幕上。
7)tr :替換字符,常用來處理文檔中出現的特殊符號,如DOS文檔中出現的^M符號。常用的選項有兩個:
-d :刪除某個字符,-d 后面跟要刪除的字符
-s :把重復的字符去掉
最常用的就是把小寫變大寫: tr ‘[a-z]’ ‘[A-Z]’
當然替換一個字符也是完全可以的。
不過替換、刪除以及去重復都是針對一個字符來講的,有一定局限性。如果是針對一個字符串就不再管用了,所以筆者建議只是簡單了解這個tr即可,以后你還會學到更多可以實現針對字符串操作的工具。
8)split :切割文檔,常用選項:
-b :依據大小來分割文檔,單位為byte
格式如上例,后面的passwd為分割后文件名的前綴,分割后的文件名為passwdaa, passwdab, passwdac …
-l :依據行數來分割文檔
6. ;:分號。平時我們都是在一行中敲一個命令,然后回車就運行了,那么想在一行中運行兩個或兩個以上的命令如何呢?則需要在命令之間加一個”;”了。
7. ~:用戶的家目錄,如果是root則是 /root ,普通用戶則是 /home/username
8. & :如果想把一條命令放到后台執行的話,則需要加上這個符號。通常用於命令運行時間非常長的情況。
使用jobs可以查看當前shell中后台執行的任務。用fg可以調到前台執行。這里的sleep命令就是休眠的意思,后面跟數字,單位為秒,常用語循環的shell腳本中。
此時你按一下CTRL +z 使之暫停,然后再輸入bg可以再次進入后台執行。
如果是多任務情況下,想要把任務調到前台執行的話,fg后面跟任務號,任務號可以使用jobs命令得到。
9. >, >>, 2>, 2>>:前面講過重定向符號> 以及>> 分別表示取代和追加的意思,然后還有兩個符號就是這里的2> 和 2>> 分別表示錯誤重定向和錯誤追加重定向,當我們運行一個命令報錯時,報錯信息會輸出到當前的屏幕,如果想重定向到一個文本里,則要用2>或者2>>。
10. [ ]:中括號,中間為字符組合,代表中間字符中的任意一個
11. && 與 ||
在上面剛剛提到了分號,用於多條命令間的分隔符。另外還有兩個可以用於多條命令中間的特殊符號,那就是 “&&”和”||”。下面筆者把這幾種情況全列出:
1) command1 ; command2
2) command1 && command2
3) command1 || command2
使用”;”時,不管command1是否執行成功都會執行command2;使用”&&”時,只有command1執行成功后,command2才會執行,否則command2不執行;使用”||”時,command1執行成功后command2 不執行,否則去執行command2,總之command1和command2總有一條命令會執行。