bash&shell系列文章:http://www.cnblogs.com/f-ck-need-u/p/7048359.html
1.8.1 匿名管道"|"
管道符號意如其名,類似管道一樣將管道入口的數據通過管道傳遞給管道出口。
管道是為了解決進程間通信問題而存在,它可以讓兩個進程之間的數據進行傳遞,將一個進程的輸出數據傳遞給另一個進程作為其輸入數據。管道左邊是數據給予方,管道右邊是數據接收方。
例如echo "abcd" | passwd --stdin username,表示將進程echo的輸出結果"abcd"作為進程passwd的輸入數據。
基本的管道符號及其用法很容易理解。現在的疑問是,對於ps aux | grep "ssh" ,為什么在結果里會有grep進程出現?
[root@xuexi ~]# ps aux | grep ssh root 1211 0.0 0.1 82544 3600 ? Ss Jul26 0:00 /usr/sbin/sshd -D root 25236 0.0 0.2 145552 5524 ? Ss 05:28 0:00 sshd: root@pts/0 root 25720 0.1 0.2 145416 5524 ? Ss 06:15 0:00 sshd: root@pts/1 root 25770 0.0 0.0 112648 948 pts/1 S+ 06:15 0:00 grep --color=auto ssh
按一般想法,先執行了ps,得到輸出后將輸出數據傳遞給grep,這時候grep還沒運行而ps已經運行完畢了,為什么還能統計到grep進程的信息呢?原因是管道實現的是進程間通信,兩個進程之間存在交叉,在運行ps進程后開始收集進程信息,grep也已經開始並處於等待接收數據狀態,當ps收集到任何數據后都將輸出放入內存由管道傳遞給grep進行篩選。
管道其本質是數據傳遞,管道左邊的輸出數據放入內存,由管道右邊的進程讀取。假如內存不足以完全存放輸出數據,則管道左邊的進程將一直等待,直到管道右邊取出內存中一部分的數據以讓管道左邊的進程繼續輸出,而管道右邊的進程在管道左邊的進程啟動后也立刻啟動了,但是它一直處於等待狀態,等待接收管道傳遞來的數據。
也就是說,管道左右兩邊的進程運行幾乎是沒有先后順序的。
那么ps aux | grep "ssh"如何避免結果中出現grep自身的進程呢?方法有二:
方法一:ps aux | grep "ssh" | grep -v "grep"
方法二:ps aux | grep "ss[h]"
[root@xuexi ~]# ps aux | grep ss[h] root 1211 0.0 0.1 82544 3600 ? Ss Jul26 0:00 /usr/sbin/sshd -D root 25236 0.0 0.2 145552 5524 ? Ss 05:28 0:00 sshd: root@pts/0 root 25720 0.0 0.2 145416 5524 ? Ss 06:15 0:00 sshd: root@pts/1
方法一是應用grep的"-v"特性,方法二是應用正則表達式的特性。
在使用匿名管道的過程中,可能已經發現管道兩邊的進程是同屬一個進程組的,也就是說管道左方的數據只能傳遞給管道右方的進程,其他任何進程都沒法讀取此數據。但除了匿名管道,還有命名管道,命名管道是將一個進程的數據存儲到一個管道文件(fifo)中,其他進程可以讀取該管道文件來讀取其中的數據,也就是說不再限制數據讀取方。關於命名管道,請參閱Linux/unix操作系統內核或編程類的書籍,一般都會有詳細的介紹。
1.8.2 重定向
1.8.2.1 重定向基礎
最常見的標准輸入(stdin)、標准輸出(stdout)和標准錯誤輸出(stderr)的文件描述符分別是0、1和2,其中0、1、2也可以認為是它們的數字代號。對於輸出信息,可以認為是打印在屏幕上的信息,而沒給出錯誤的就是標准輸出,給出錯誤提示的是標准錯誤輸出,當然這樣說明有失偏頗,但是易於理解。還可以自定義自己的描述符,實現高級重定向,在以后的文章中可能會介紹一下它們的用法。
標准輸入 = /dev/stdin = 代號0 = <符號(注意,沒有包含<<符號)。
標准輸出 = /dev/stdout = 代號1 = >或>>符號。
標准錯誤輸出 = /dev/stderr = 代號2 = 使用2>或2>>符號。
注意,上面的/dev/std{in,out,err}分別是0、1、2默認的輸出目標,當重定向后,就不再使用這些目標。具體見后文。
<、>、2>實現的是覆蓋功能,>>、2>>實現的是追加的功能,但是注意"<<"不是追加功能,而是表示此處生成文檔(here document),在后面cat和重定向配合的內容里有說明。此外,還有<<<,它表示此處字符串(here string),也見下文。
有時候,使用"-"也表示/dev/stdin。如:
[root@xuexi ~]# cat /etc/fstab | cat -
腳本中常見2>&1和&>以及&>>的符號,它們都表示將stdout和stderr都重定向到同一個地方去,即重定向所有輸出內容。如最常見的"&> /dev/null"。
注意:
(1).重定向操作是shell最先解析到的,在執行命令之前,重定向就會先打開文件以確定輸入、輸出的位置。如果是重定向輸出操作,則先截斷文件使其為空。
(2)./dev/stdin、/dev/stdout、/dev/stderr等設備只是數據默認的流向目標(嚴格地說是文件描述符0、1、2的輸出目標),它們不等價於"標准輸入0、標准輸出1、標准錯誤2"。之所以稱為"重定向",就是將數據的流向改變,不再輸入到這些默認設備中。
(3).重定向的順序很重要。
例如 ls / >file1 2>&1 表示先打開file1作為標准輸出(fd=1)的目的地,然后再將標准錯誤綁定到標准輸出(已經是file1)上,這樣無論是標准錯誤還是標准輸出都重定向到file1中。它等價於 ls / &>file1 。"&"符號表示描述符重用(fd 2 duplicate from fd 1)。將其理解為文件描述符2復制了文件描述符1,或者文件描述2重用文件描述符1,使得fd=2也指向了fd=1所指向的文件。
而 ls / 2>&1 >file1 表示先將標准錯誤指向到標准輸出,此時標准輸出還是/dev/sdtout(即屏幕),因此標准錯誤的輸出目標是/dev/stdout(屏幕)。之后再打開file1作為標准輸出的目標。因此,它最終將標准錯誤重定向到/dev/stdout,將標准輸出重定向到file1。可以讓ls命令產生錯誤來測試, ls dlfjasl 2>&1 >file1 ,結果將直接顯示在屏幕上。
將stdout或stderr丟到/dev/null表示丟棄輸出信息,反過來,將/dev/null重定向到某個文件則表示清空文件。
[root@xuexi ~]# cat /dev/null > ab.sh
除此,還有以下幾種方法快速清空文件
[root@xuexi ~]# > ab.sh [root@xuexi ~]# : > ab.sh # 或"true >ab.sh",其實它們都等價於">ab.sh" [root@xuexi ~]# echo '' > ab.sh [root@xuexi ~]# truncate -s 0 ab.sh # truncate命令用於收縮和擴展文件大小 [root@xuexi ~]# dd if=/dev/null of=ab.sh
再次說明(很重要):在有輸出類的重定向(包括錯誤重定向)語句中,命令執行之前就已經將文件截斷為0大小。所以如果正在編輯一個文件並將編輯的結果重定向回這個文件將出現異常,因為截斷后就沒有合適的內容用於編輯。一個簡單的示例如下:
[root@xuexi ~]# head a.log > a.log
有些時候直接使用">"覆蓋輸出是比較危險的。可以使用set -C來設置如果輸出重定向文件已經存在則不覆蓋。使用set +C來取消set -C的效果。如果在設置了set -C時仍然想強制覆蓋,可以使用“>|”代替“>”來重定向輸出。同理錯誤輸出也有此特性。
[root@xuexi tmp]# set -C [root@xuexi tmp]# cat flip >ttt.txt -bash: ttt.txt: cannot overwrite existing file [root@xuexi tmp]# cat flip >| ttt.txt [root@xuexi tmp]# set +C
1.8.2.2 cat和重定向配合
配合cat使用可以分行輸入內容到文件中。
[root@xuexi tmp]# cat <<eof>log.txt # 覆蓋的方式輸入到log.txt > this is stdin character > eof
也可以使用下面的方法。
[root@xuexi tmp]# cat >log1.txt <<eof > this is stdin character first! > eof
一方面,eof部分都必須使用"<<eof",它表示here document,此后輸入的內容都作為一個document輸入給cat。既然是document,那就肯定有document結束符標記document到此結束,結束符使用的是here document后的字符,例如此處為eof。其實不使用eof,使用其他字符也是一樣的,但document的結束符也必須要隨之改變。如:
[root@xuexi ~]# cat <<abcx > 123 > 345 > abcx 123 345
另一方面,>log1.txt表示將document的內容覆蓋到log1.txt文件中,如果是要追加,則使用>>log1.txt。所以,追加的方式如下:
[root@xuexi tmp]# cat >>log1.txt <<eof > this is stdin character first! > eof
或
1.8.2.3 tee雙重定向
可以使用tee雙重定向。一般情況下,重定向要么將信息輸入到文件中,要么輸出到屏幕上,但是既想輸出到屏幕又想輸出到文件就比較麻煩。使用tee的雙重定向功能可以實現該想法。如圖。
tee [-a] file
選項說明:
-a:默認是將輸出覆蓋到文件中,使用該選項將變為追加行為。
file:除了輸出到標准輸出中,還將輸出到file中。如果file為"-",則表示再輸入一次到標准輸出中。
例如下面的代碼,將a開頭的文件內容全部保存到b.log,同時把副本交給后面的的cat,使用這個cat又將內容保存到了x.log。其中"-"代表前面的stdin。
[root@xuexi tmp]# cat a* | tee b.log | cat - >x.log
還可以直接輸出到屏幕:
[root@xuexi tmp]# cat a* | tee b.log | cat
tee默認會使用覆蓋的方式保存到文件,可以使用-a選項來追加到文件。如:
[root@xuexi tmp]# cat a* | tee -a b.log | cat
現在就可以在使用cat和重定向創建文件或寫入內容到文件的同時又可以在屏幕上顯示一份。
[root@xuexi tmp]# cat <<eof | tee ttt.txt > x y > z 1 > eof x y z 1
另一篇tee的技巧文章:tee的花式用法和pee,建議有一定基礎后再看這篇文章。
1.8.2.4 <<和<<<
在bash中,<<和<<<是特殊重定向符號。<<表示的是here document,<<<表示的是here string。
here document在上文已經解釋過了,對於here string,表示將<<<后的字符串作為輸入數據。
例如:
passwd --stdin user <<< password_value
等價於:
echo password_value | passwd --stdin user