每天學點Linux命令之grep 和 wc命令 ---(6/25)


Linux系統中grep命令是一種強大的文本搜索工具,它能使用正則表達式搜索文本,並把匹 配的行打印出來。grep全稱是Global Regular Expression Print,表示全局正則表達式版本,它的使用權限是所有用戶。

  wc

1.命令格式:
wc [選項]文件...
2.命令功能:
統計指定文件中的字節數、字數、行數,並將統計結果顯示輸出。該命令統計指定文件中的字節數、字數、行數。如果沒有給出文件名,則從標准輸入讀取。wc同時也給出所指定文件的總統計數。
3.命令參數:
-c 統計字節數。
-l 統計行數。
-m 統計字符數。這個標志不能與 -c 標志一起使用。
-w 統計字數。一個字被定義為由空白、跳格或換行字符分隔的字符串。
-L 打印最長行的長度。
--help 顯示幫助信息
--version 顯示版本信息
 
  例子: 在文件a中統計 hello 出現的行數:
  
grep hello a | wc -l

  在文件a中統計hello出現的次數:

grep -o hello a | wc -l

  grep命令和wc命令 這種可以在命令行中通過 | 互相鏈接 ,作為輸入的命令原來有同一的名字 叫做 :::::::管道命令!!!!

  沒錯就是下面這種感覺

  image

  

  1、管道命令只處理前一個命令正確輸出,不處理錯誤輸出

  2、管道命令右邊命令,必須能夠接收標准輸入流命令才行。

cat test1.sh test.sh 2>/dev/null | grep -n 'good'
1:echo very good
2:echo good
5:echo good
#將test1.sh 沒有找到錯誤輸出重定向輸出給/dev/null 文件,正確輸出通過管道發送給grep

>是重定向

|是管道重定向

區別是:

1、左邊的命令應該有標准輸出 | 右邊的命令應該接受標准輸入
   左邊的命令應該有標准輸出 > 右邊只能是文件
   左邊的命令應該需要標准輸入 < 右邊只能是文件

2、管道觸發兩個子進程執行"|"兩邊的程序;而定向是在一個進程內執行

 

grep可用於shell腳本,因為grep通過返回一個狀態值來說明搜索的狀態,如果模板搜索成功,則返回0,如果搜索不成功,則返回1,如果搜索的文件不存在,則返回2。我們利用這些返回值就可進行一些自動化的文本處理工作。

1.命令格式:

grep [option] pattern file

2.命令功能:

用於過濾/搜索的特定字符。可使用正則表達式能多種命令配合使用,使用上十分靈活。

3.命令參數:

-a   --text   #不要忽略二進制的數據。   

-A<顯示行數>   --after-context=<顯示行數>   #除了顯示符合范本樣式的那一列之外,並顯示該行之后的內容。   

-b   --byte-offset   #在顯示符合樣式的那一行之前,標示出該行第一個字符的編號。   

-B<顯示行數>   --before-context=<顯示行數>   #除了顯示符合樣式的那一行之外,並顯示該行之前的內容。   

-c    --count   #計算符合樣式的列數。   

-C<顯示行數>    --context=<顯示行數>或-<顯示行數>   #除了顯示符合樣式的那一行之外,並顯示該行之前后的內容。   

-d <動作>      --directories=<動作>   #當指定要查找的是目錄而非文件時,必須使用這項參數,否則grep指令將回報信息並停止動作。   

-e<范本樣式>  --regexp=<范本樣式>   #指定字符串做為查找文件內容的樣式。   

-E      --extended-regexp   #將樣式為延伸的普通表示法來使用。   

-f<規則文件>  --file=<規則文件>   #指定規則文件,其內容含有一個或多個規則樣式,讓grep查找符合規則條件的文件內容,格式為每行一個規則樣式。   

-F   --fixed-regexp   #將樣式視為固定字符串的列表。   

-G   --basic-regexp   #將樣式視為普通的表示法來使用。   

-h   --no-filename   #在顯示符合樣式的那一行之前,不標示該行所屬的文件名稱。   

-H   --with-filename   #在顯示符合樣式的那一行之前,表示該行所屬的文件名稱。   

-i    --ignore-case   #忽略字符大小寫的差別。   

-l    --file-with-matches   #列出文件內容符合指定的樣式的文件名稱。   

-L   --files-without-match   #列出文件內容不符合指定的樣式的文件名稱。   

-n   --line-number   #在顯示符合樣式的那一行之前,標示出該行的列數編號。   

-q   --quiet或--silent   #不顯示任何信息。   

-r   --recursive   #此參數的效果和指定“-d recurse”參數相同。   

-s   --no-messages   #不顯示錯誤信息。   

-v   --revert-match   #顯示不包含匹配文本的所有行。   

-V   --version   #顯示版本信息。   

-w   --word-regexp   #只顯示全字符合的列。   

-x    --line-regexp   #只顯示全列符合的列。   

-y   #此參數的效果和指定“-i”參數相同。

  

4.規則表達式:

grep的規則表達式:

^  #錨定行的開始 如:'^grep'匹配所有以grep開頭的行。    

$  #錨定行的結束 如:'grep$'匹配所有以grep結尾的行。    

.  #匹配一個非換行符的字符 如:'gr.p'匹配gr后接一個任意字符,然后是p。    

*  #匹配零個或多個先前字符 如:'*grep'匹配所有一個或多個空格后緊跟grep的行。    

.*   #一起用代表任意字符。   

[]   #匹配一個指定范圍內的字符,如'[Gg]rep'匹配Grep和grep。    

[^]  #匹配一個不在指定范圍內的字符,如:'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一個字母開頭,緊跟rep的行。    

\(..\)  #標記匹配字符,如'\(love\)',love被標記為1。    

\<      #錨定單詞的開始,如:'\<grep'匹配包含以grep開頭的單詞的行。    

\>      #錨定單詞的結束,如'grep\>'匹配包含以grep結尾的單詞的行。    

x\{m\}  #重復字符x,m次,如:'0\{5\}'匹配包含5個o的行。    

x\{m,\}  #重復字符x,至少m次,如:'o\{5,\}'匹配至少有5個o的行。    

x\{m,n\}  #重復字符x,至少m次,不多於n次,如:'o\{5,10\}'匹配5--10個o的行。   

\w    #匹配文字和數字字符,也就是[A-Za-z0-9],如:'G\w*p'匹配以G后跟零個或多個文字或數字字符,然后是p。   

\W    #\w的反置形式,匹配一個或多個非單詞字符,如點號句號等。   

\b    #單詞鎖定符,如: '\bgrep\b'只匹配grep。  

POSIX字符:

為了在不同國家的字符編碼中保持一至,POSIX(The Portable Operating System Interface)增加了特殊的字符類,如[:alnum:]是[A-Za-z0-9]的另一個寫法。要把它們放到[]號內才能成為正則表達式,如[A- Za-z0-9]或[[:alnum:]]。在linux下的grep除fgrep外,都支持POSIX的字符類。

[:alnum:]    #文字數字字符   

[:alpha:]    #文字字符   

[:digit:]    #數字字符   

[:graph:]    #非空字符(非空格、控制字符)   

[:lower:]    #小寫字符   

[:cntrl:]    #控制字符   

[:print:]    #非空字符(包括空格)   

[:punct:]    #標點符號   

[:space:]    #所有空白字符(新行,空格,制表符)   

[:upper:]    #大寫字符   

[:xdigit:]   #十六進制數字(0-9,a-f,A-F)  

5.使用實例:

實例1:查找指定進程

命令:ps -ef|grep svn

說明:第一條記錄是查找出的進程;第二條結果是grep進程本身,並非真正要找的進程。

實例2:查找指定進程個數

命令:

ps -ef|grep svn -c

ps -ef|grep -c svn

實例3:從文件中讀取關鍵詞進行搜索

命令:cat test.txt | grep -f test2.txt

輸出test.txt文件中含有從test2.txt文件中讀取出的關鍵詞的內容行

實例3:從文件中讀取關鍵詞進行搜索 且顯示行號

命令:cat test.txt | grep -nf test2.txt

輸出test.txt文件中含有從test2.txt文件中讀取出的關鍵詞的內容行,並顯示每一行的行號

實例5:從文件中查找關鍵詞

命令   grep 'linux' test.txt

實例6:從多個文件中查找關鍵詞

命令:

grep 'linux' test.txt test2.txt

多文件時,輸出查詢到的信息內容行時,會把文件的命名在行最前面輸出並且加上":"作為標示符

實例7:grep不顯示本身進程

命令:

ps aux|grep \[s]sh

ps aux | grep ssh | grep -v "grep"

實例8:找出已u開頭的行內容

命令:cat test.txt |grep ^u

實例9:輸出非u開頭的行內容

命令:cat test.txt |grep ^[^u]

實例10:輸出以hat結尾的行內容

命令:cat test.txt |grep hat$

實例11:輸出ip地址

命令:     ifconfig eth0|grep -E "([0-9]{1,3}\.){3}[0-9]"

實例12:顯示包含ed或者at字符的內容行

命令:cat test.txt |grep -E "ed|at"

實例13:顯示當前目錄下面以.txt 結尾的文件中的所有包含每個字符串至少有7個連續小寫字符的字符串的行

命令:grep '[a-z]\{7\}' *.txt

實例14:日志文件過大,不好查看,我們要從中查看自己想要的內容,或者得到同一類數據,比如說沒有404日志信息的

命令:grep '.' access1.log|grep -Ev '404' > access2.log

grep '.' access1.log|grep -Ev '(404|/photo/|/css/)' > access2.log

grep '.' access1.log|grep -E '404' > access2.log

輸出:[root@localhost test]# grep “.”access1.log|grep -Ev “404” > access2.log

說明:上面3句命令前面兩句是在當前目錄下對access1.log文件進行查找,找到那些不包含404的行,把它們放到access2.log中,后面去掉’v’,即是把有404的行放入access2.log

關於grep命令的or,and,not操作

在grep命令中,有OR和NOT操作符的等價選項,但是並沒有grep AND這種操作符。不過呢,可以使用patterns來模擬AND操作的。下面會舉一些例子來說明在Linux的grep命令中如何使用OR,AND,NOT。

1 OR 語義

egrep 'pattern1|pattern2' filename 
  • 1

2 AND 語義

grep -E 'pattern1.*pattern2' filename 
  • 1

3 NOT 語義

grep -v 'pattern1' filename   

grep匹配符合多個條件的行

egrep -i '^(From | Subject | Date): ' maixbox  

grep使用多個查詢條件--或

推薦方法

\| 符號法

[root@mail ~]# grep 'usrquota\|grpquota' /etc/fstab

 

其他方法

『1』使用多個 -e 參數

如:

netstat -an | grep -E "ESTABLISHED|WAIT"

注意:

netstat -an | grep -e EST -e WAIT

並列使用多個 -e參數可以實現或條件

 

『2』使用擴展 -E

netstat -an | grep -E "ESTABLISHED|WAIT"

此處的 -E 是大寫 ,匹配條件一定要加 引號

下面是一些有意思且常用的命令行參數: 
grep -i pattern files :不區分大小寫地搜索(例如:grep -i "hello" ./test.txt)。默認情況區分大小寫。
grep -l pattern files :只列出匹配的文件名, 
grep -L pattern files :列出不匹配的文件名, 
grep -w pattern files :只匹配整個單詞,而不是字符串的一部分(如匹配‘magic’,而不是‘magical’), 
grep -C number pattern files :匹配的上下文分別顯示[number]行, 
grep pattern1 | pattern2 files :顯示匹配 pattern1 或 pattern2 的行, 
grep pattern1 files | grep pattern2 :顯示既匹配 pattern1 又匹配 pattern2 的行 

 

這里還有些用於搜索的特殊符號: 

 \< 和 \> 分別標注單詞的開始與結尾。 
例如: 
grep man * 會匹配 ‘batman’、‘manic’、‘man’等, 
grep '\<man' * 匹配‘manic’和‘man’,但不是‘batman’, 
grep '\<man\>' 只匹配‘man’,而不是‘batman’或‘manic’等其他的字符串。 
'^':指匹配的字符串在行首, 
'$':指匹配的字符串在行尾, 

^ 符號,在字符類符號(括號[])之內與之外是不同的! 在 [] 內代表『反向選擇』,在 [] 之外則代表定位在行首的意義!

任意一個字節 . 與重復字節 *
這兩個符號在正則表達式的意義如下:

. (小數點):代表『一定有一個任意字節』的意思;
* (星號):代表『重復前一個字符, 0 到無窮多次』的意思,為組合形態

假設我需要找出 g??d 的字串,亦即共有四個字節, 起頭是 g 而結束是 d ,我可以這樣做:

[root@www ~]# grep -n 'g..d' regular_express.txt
1:"Open Source" is a good mechanism to develop programs.
9:Oh! The soup taste good.
16:The world <Happy> is the same with "glad".

因為強調 g 與 d 之間一定要存在兩個字節,因此,第 13 行的 god 與第 14 行的 gd 就不會被列出來啦!

如果我想要找出 g 開頭與 g 結尾的行,當中的字符可有可無

[root@www ~]# grep -n 'g.*g' regular_express.txt
1:"Open Source" is a good mechanism to develop programs.
20:go! go! Let's go.
因為是代表 g 開頭與 g 結尾,中間任意字節均可接受,所以,第 1, 14, 20 行是可接受的喔! 這個 .* 的 RE 表示任意字符是很常見的.

 如果我想要找出『任意數字』的行?因為僅有數字,所以就成為:

[root@www ~]# grep -n '[0-9][0-9]*' regular_express.txt 

 限定連續 RE 字符范圍 {}

我們可以利用 . 與 RE 字符及 * 來配置 0 個到無限多個重復字節, 那如果我想要限制一個范圍區間內的重復字節數呢?

舉例來說,我想要找出兩個到五個 o 的連續字串,該如何作?這時候就得要使用到限定范圍的字符 {} 了。 但因為 { 與 } 的符號在 shell 是有特殊意義的,因此, 我們必須要使用字符   \ 來讓他失去特殊意義才行。 至於 {} 的語法是這樣的,假設我要找到兩個 o 的字串,可以是:

[root@www ~]# grep -n 'o\{2\}' regular_express.txt
擴展grep(grep -E 或者 egrep):

使用擴展grep的主要好處是增加了額外的正則表達式元字符集。

 打印所有包含NW或EA的行。如果不是使用egrep,而是grep,將不會有結果查出。

    # egrep 'NW|EA' testfile     
    northwest       NW      Charles Main        3.0     .98     3       34
    eastern         EA      TB Savage           4.4     .84     5       20

 對於標准grep,如果在擴展元字符前面加\,grep會自動啟用擴展選項-E。

#grep 'NW\|EA' testfile
northwest       NW      Charles Main        3.0     .98     3       34
eastern         EA      TB Savage           4.4     .84     5       20

 搜索所有包含一個或多個3的行。

# egrep '3+' testfile
# grep -E '3+' testfile
# grep '3\+' testfile        
#這3條命令將會
northwest       NW      Charles Main          3.0     .98     3       34
western         WE      Sharon Gray           5.3     .97     5       23
northeast       NE      AM Main Jr.           5.1     .94     3       13
central         CT      Ann Stephens          5.7     .94     5       13
 

搜索所有包含0個或1個小數點字符的行。
    

復制代碼
# egrep '2\.?[0-9]' testfile 
# grep -E '2\.?[0-9]' testfile
# grep '2\.\?[0-9]' testfile 
#首先含有2字符,其后緊跟着0個或1個點,后面再是0和9之間的數字。
western         WE       Sharon Gray          5.3     .97     5       23
southwest       SW      Lewis Dalsass         2.7     .8      2       18
eastern         EA       TB Savage             4.4     .84     5       20

 

搜索一個或者多個連續的no的行。
    

復制代碼
# egrep '(no)+' testfile
# grep -E '(no)+' testfile
# grep '\(no\)\+' testfile   #3個命令返回相同結果,
northwest       NW      Charles Main        3.0     .98     3       34
northeast       NE       AM Main Jr.        5.1     .94     3       13
north           NO      Margot Weber        4.5     .89     5       9

 不使用正則表達式

fgrep 查詢速度比grep命令快,但是不夠靈活:它只能找固定的文本,而不是規則表達式。

如果你想在一個文件或者輸出中找到包含星號字符的行

fgrep  '*' /etc/profile


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM