Linux系統中grep命令是一種強大的文本搜索工具,它能使用正則表達式搜索文本,並把匹 配的行打印出來。grep全稱是Global Regular Expression Print,表示全局正則表達式版本,它的使用權限是所有用戶。
wc
grep hello a | wc -l
在文件a中統計hello出現的次數:
grep -o hello a | wc -l
grep命令和wc命令 這種可以在命令行中通過 | 互相鏈接 ,作為輸入的命令原來有同一的名字 叫做 :::::::管道命令!!!!
沒錯就是下面這種感覺
1、管道命令只處理前一個命令正確輸出,不處理錯誤輸出
2、管道命令右邊命令,必須能夠接收標准輸入流命令才行。
cat test1.sh test.sh 2>/dev/null | grep -n 'good' 1:echo very good 2:echo good 5:echo good #將test1.sh 沒有找到錯誤輸出重定向輸出給/dev/null 文件,正確輸出通過管道發送給grep
>是重定向
|是管道重定向
區別是:
1、左邊的命令應該有標准輸出 | 右邊的命令應該接受標准輸入
左邊的命令應該有標准輸出 > 右邊只能是文件
左邊的命令應該需要標准輸入 < 右邊只能是文件
2、管道觸發兩個子進程執行"|"兩邊的程序;而重定向是在一個進程內執行
grep可用於shell腳本,因為grep通過返回一個狀態值來說明搜索的狀態,如果模板搜索成功,則返回0,如果搜索不成功,則返回1,如果搜索的文件不存在,則返回2。我們利用這些返回值就可進行一些自動化的文本處理工作。
1.命令格式:
grep [option] pattern file
2.命令功能:
用於過濾/搜索的特定字符。可使用正則表達式能多種命令配合使用,使用上十分靈活。
3.命令參數:
-a --text #不要忽略二進制的數據。
-A<顯示行數> --after-context=<顯示行數> #除了顯示符合范本樣式的那一列之外,並顯示該行之后的內容。
-b --byte-offset #在顯示符合樣式的那一行之前,標示出該行第一個字符的編號。
-B<顯示行數> --before-context=<顯示行數> #除了顯示符合樣式的那一行之外,並顯示該行之前的內容。
-c --count #計算符合樣式的列數。
-C<顯示行數> --context=<顯示行數>或-<顯示行數> #除了顯示符合樣式的那一行之外,並顯示該行之前后的內容。
-d <動作> --directories=<動作> #當指定要查找的是目錄而非文件時,必須使用這項參數,否則grep指令將回報信息並停止動作。
-e<范本樣式> --regexp=<范本樣式> #指定字符串做為查找文件內容的樣式。
-E --extended-regexp #將樣式為延伸的普通表示法來使用。
-f<規則文件> --file=<規則文件> #指定規則文件,其內容含有一個或多個規則樣式,讓grep查找符合規則條件的文件內容,格式為每行一個規則樣式。
-F --fixed-regexp #將樣式視為固定字符串的列表。
-G --basic-regexp #將樣式視為普通的表示法來使用。
-h --no-filename #在顯示符合樣式的那一行之前,不標示該行所屬的文件名稱。
-H --with-filename #在顯示符合樣式的那一行之前,表示該行所屬的文件名稱。
-i --ignore-case #忽略字符大小寫的差別。
-l --file-with-matches #列出文件內容符合指定的樣式的文件名稱。
-L --files-without-match #列出文件內容不符合指定的樣式的文件名稱。
-n --line-number #在顯示符合樣式的那一行之前,標示出該行的列數編號。
-q --quiet或--silent #不顯示任何信息。
-r --recursive #此參數的效果和指定“-d recurse”參數相同。
-s --no-messages #不顯示錯誤信息。
-v --revert-match #顯示不包含匹配文本的所有行。
-V --version #顯示版本信息。
-w --word-regexp #只顯示全字符合的列。
-x --line-regexp #只顯示全列符合的列。
-y #此參數的效果和指定“-i”參數相同。
4.規則表達式:
grep的規則表達式:
^ #錨定行的開始 如:'^grep'匹配所有以grep開頭的行。
$ #錨定行的結束 如:'grep$'匹配所有以grep結尾的行。
. #匹配一個非換行符的字符 如:'gr.p'匹配gr后接一個任意字符,然后是p。
* #匹配零個或多個先前字符 如:'*grep'匹配所有一個或多個空格后緊跟grep的行。
.* #一起用代表任意字符。
[] #匹配一個指定范圍內的字符,如'[Gg]rep'匹配Grep和grep。
[^] #匹配一個不在指定范圍內的字符,如:'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一個字母開頭,緊跟rep的行。
\(..\) #標記匹配字符,如'\(love\)',love被標記為1。
\< #錨定單詞的開始,如:'\<grep'匹配包含以grep開頭的單詞的行。
\> #錨定單詞的結束,如'grep\>'匹配包含以grep結尾的單詞的行。
x\{m\} #重復字符x,m次,如:'0\{5\}'匹配包含5個o的行。
x\{m,\} #重復字符x,至少m次,如:'o\{5,\}'匹配至少有5個o的行。
x\{m,n\} #重復字符x,至少m次,不多於n次,如:'o\{5,10\}'匹配5--10個o的行。
\w #匹配文字和數字字符,也就是[A-Za-z0-9],如:'G\w*p'匹配以G后跟零個或多個文字或數字字符,然后是p。
\W #\w的反置形式,匹配一個或多個非單詞字符,如點號句號等。
\b #單詞鎖定符,如: '\bgrep\b'只匹配grep。
POSIX字符:
為了在不同國家的字符編碼中保持一至,POSIX(The Portable Operating System Interface)增加了特殊的字符類,如[:alnum:]是[A-Za-z0-9]的另一個寫法。要把它們放到[]號內才能成為正則表達式,如[A- Za-z0-9]或[[:alnum:]]。在linux下的grep除fgrep外,都支持POSIX的字符類。
[:alnum:] #文字數字字符
[:alpha:] #文字字符
[:digit:] #數字字符
[:graph:] #非空字符(非空格、控制字符)
[:lower:] #小寫字符
[:cntrl:] #控制字符
[:print:] #非空字符(包括空格)
[:punct:] #標點符號
[:space:] #所有空白字符(新行,空格,制表符)
[:upper:] #大寫字符
[:xdigit:] #十六進制數字(0-9,a-f,A-F)
5.使用實例:
實例1:查找指定進程
命令:ps -ef|grep svn
說明:第一條記錄是查找出的進程;第二條結果是grep進程本身,並非真正要找的進程。
實例2:查找指定進程個數
命令:
ps -ef|grep svn -c
ps -ef|grep -c svn
實例3:從文件中讀取關鍵詞進行搜索
命令:cat test.txt | grep -f test2.txt
輸出test.txt文件中含有從test2.txt文件中讀取出的關鍵詞的內容行
實例3:從文件中讀取關鍵詞進行搜索 且顯示行號
命令:cat test.txt | grep -nf test2.txt
輸出test.txt文件中含有從test2.txt文件中讀取出的關鍵詞的內容行,並顯示每一行的行號
實例5:從文件中查找關鍵詞
命令 grep 'linux' test.txt
實例6:從多個文件中查找關鍵詞
命令:
grep 'linux' test.txt test2.txt
多文件時,輸出查詢到的信息內容行時,會把文件的命名在行最前面輸出並且加上":"作為標示符
實例7:grep不顯示本身進程
命令:
ps aux|grep \[s]sh
ps aux | grep ssh | grep -v "grep"
實例8:找出已u開頭的行內容
命令:cat test.txt |grep ^u
實例9:輸出非u開頭的行內容
命令:cat test.txt |grep ^[^u]
實例10:輸出以hat結尾的行內容
命令:cat test.txt |grep hat$
實例11:輸出ip地址
命令: ifconfig eth0|grep -E "([0-9]{1,3}\.){3}[0-9]"
實例12:顯示包含ed或者at字符的內容行
命令:cat test.txt |grep -E "ed|at"
實例13:顯示當前目錄下面以.txt 結尾的文件中的所有包含每個字符串至少有7個連續小寫字符的字符串的行
命令:grep '[a-z]\{7\}' *.txt
實例14:日志文件過大,不好查看,我們要從中查看自己想要的內容,或者得到同一類數據,比如說沒有404日志信息的
命令:grep '.' access1.log|grep -Ev '404' > access2.log
grep '.' access1.log|grep -Ev '(404|/photo/|/css/)' > access2.log
grep '.' access1.log|grep -E '404' > access2.log
輸出:[root@localhost test]# grep “.”access1.log|grep -Ev “404” > access2.log
說明:上面3句命令前面兩句是在當前目錄下對access1.log文件進行查找,找到那些不包含404的行,把它們放到access2.log中,后面去掉’v’,即是把有404的行放入access2.log
關於grep命令的or,and,not操作
在grep命令中,有OR和NOT操作符的等價選項,但是並沒有grep AND這種操作符。不過呢,可以使用patterns來模擬AND操作的。下面會舉一些例子來說明在Linux的grep命令中如何使用OR,AND,NOT。
1 OR 語義
egrep 'pattern1|pattern2' filename
- 1
2 AND 語義
grep -E 'pattern1.*pattern2' filename
- 1
3 NOT 語義
grep -v 'pattern1' filename
grep匹配符合多個條件的行
egrep -i '^(From | Subject | Date): ' maixbox
grep使用多個查詢條件--或
推薦方法
\| 符號法
[root@mail ~]# grep 'usrquota\|grpquota' /etc/fstab
其他方法
『1』使用多個 -e 參數
如:
netstat -an | grep -E "ESTABLISHED|WAIT"
注意:
netstat -an | grep -e EST -e WAIT
並列使用多個 -e參數可以實現或條件
『2』使用擴展 -E
netstat -an | grep -E "ESTABLISHED|WAIT"
此處的 -E 是大寫 ,匹配條件一定要加 引號
下面是一些有意思且常用的命令行參數:
grep -i pattern files :不區分大小寫地搜索(例如:grep -i "hello" ./test.txt)。默認情況區分大小寫。
grep -l pattern files :只列出匹配的文件名,
grep -L pattern files :列出不匹配的文件名,
grep -w pattern files :只匹配整個單詞,而不是字符串的一部分(如匹配‘magic’,而不是‘magical’),
grep -C number pattern files :匹配的上下文分別顯示[number]行,
grep pattern1 | pattern2 files :顯示匹配 pattern1 或 pattern2 的行,
grep pattern1 files | grep pattern2 :顯示既匹配 pattern1 又匹配 pattern2 的行
這里還有些用於搜索的特殊符號:
\< 和 \> 分別標注單詞的開始與結尾。
例如:
grep man * 會匹配 ‘batman’、‘manic’、‘man’等,
grep '\<man' * 匹配‘manic’和‘man’,但不是‘batman’,
grep '\<man\>' 只匹配‘man’,而不是‘batman’或‘manic’等其他的字符串。
'^':指匹配的字符串在行首,
'$':指匹配的字符串在行尾,
^ 符號,在字符類符號(括號[])之內與之外是不同的! 在 [] 內代表『反向選擇』,在 [] 之外則代表定位在行首的意義!
任意一個字節 . 與重復字節 *
這兩個符號在正則表達式的意義如下:
. (小數點):代表『一定有一個任意字節』的意思; * (星號):代表『重復前一個字符, 0 到無窮多次』的意思,為組合形態
假設我需要找出 g??d 的字串,亦即共有四個字節, 起頭是 g 而結束是 d ,我可以這樣做:
[root@www ~]# grep -n 'g..d' regular_express.txt 1:"Open Source" is a good mechanism to develop programs. 9:Oh! The soup taste good. 16:The world <Happy> is the same with "glad".
因為強調 g 與 d 之間一定要存在兩個字節,因此,第 13 行的 god 與第 14 行的 gd 就不會被列出來啦!
如果我想要找出 g 開頭與 g 結尾的行,當中的字符可有可無
[root@www ~]# grep -n 'g.*g' regular_express.txt 1:"Open Source" is a good mechanism to develop programs. 20:go! go! Let's go.
如果我想要找出『任意數字』的行?因為僅有數字,所以就成為:
[root@www ~]# grep -n '[0-9][0-9]*' regular_express.txt
限定連續 RE 字符范圍 {}
我們可以利用 . 與 RE 字符及 * 來配置 0 個到無限多個重復字節, 那如果我想要限制一個范圍區間內的重復字節數呢?
舉例來說,我想要找出兩個到五個 o 的連續字串,該如何作?這時候就得要使用到限定范圍的字符 {} 了。 但因為 { 與 } 的符號在 shell 是有特殊意義的,因此, 我們必須要使用字符 \ 來讓他失去特殊意義才行。 至於 {} 的語法是這樣的,假設我要找到兩個 o 的字串,可以是:
[root@www ~]# grep -n 'o\{2\}' regular_express.txt
擴展grep(grep -E 或者 egrep):
使用擴展grep的主要好處是增加了額外的正則表達式元字符集。
打印所有包含NW或EA的行。如果不是使用egrep,而是grep,將不會有結果查出。
# egrep 'NW|EA' testfile northwest NW Charles Main 3.0 .98 3 34 eastern EA TB Savage 4.4 .84 5 20
對於標准grep,如果在擴展元字符前面加\,grep會自動啟用擴展選項-E。
#grep 'NW\|EA' testfile northwest NW Charles Main 3.0 .98 3 34 eastern EA TB Savage 4.4 .84 5 20
搜索所有包含一個或多個3的行。
# egrep '3+' testfile # grep -E '3+' testfile # grep '3\+' testfile #這3條命令將會 northwest NW Charles Main 3.0 .98 3 34 western WE Sharon Gray 5.3 .97 5 23 northeast NE AM Main Jr. 5.1 .94 3 13 central CT Ann Stephens 5.7 .94 5 13
搜索所有包含0個或1個小數點字符的行。
# egrep '2\.?[0-9]' testfile # grep -E '2\.?[0-9]' testfile # grep '2\.\?[0-9]' testfile #首先含有2字符,其后緊跟着0個或1個點,后面再是0和9之間的數字。 western WE Sharon Gray 5.3 .97 5 23 southwest SW Lewis Dalsass 2.7 .8 2 18 eastern EA TB Savage 4.4 .84 5 20
搜索一個或者多個連續的no的行。
# egrep '(no)+' testfile # grep -E '(no)+' testfile # grep '\(no\)\+' testfile #3個命令返回相同結果, northwest NW Charles Main 3.0 .98 3 34 northeast NE AM Main Jr. 5.1 .94 3 13 north NO Margot Weber 4.5 .89 5 9
不使用正則表達式
fgrep 查詢速度比grep命令快,但是不夠靈活:它只能找固定的文本,而不是規則表達式。
如果你想在一個文件或者輸出中找到包含星號字符的行
fgrep '*' /etc/profile