grep:文本過濾工具(模式:pattern)
grep:基本正則表達式,-E,-F
egrep:擴展正則表達式,-G,-F
fgrep:不支持正則表達式,-E,-G
正則表達式(Regular Expression,REGEXP)
由一類特殊字符及文本字符所編寫的模式,其中有些字符不表示其字面意義,而是用於表示控制或通配的功能;
分兩類:
基本正則表達式:-G, --basic-regexp:PATTERN is a basic regular expression (BRE)
擴展正則表達式:-E, --extended-regexp:PATTERN is an extended regular expression (ERE)
正則表達式引擎:
采用不同算法,檢查處理正則表達式的軟件模塊
PCRE(Perl Compatible Regular Expressions)
元字符:
\(hello[[:space:]]\+\)\+
元字符分類:字符匹配、匹配次數、位置錨定、分組
grep
Global search REgular expression and Print out the line.
作用:文本搜索工具,根據用戶指定的"模式(過濾條件)"對目標文本逐行進行匹配檢查;打印匹配到的行;
模式:由正則表達式的元字符及文本字符所編寫出的過濾條件;
用法:
grep "UUID" /etc/fstab
grep [OPTIONS] PATTERN [FILE...]
grep [OPTIONS] [-e PATTERN | -f FILE] [FILE...]
grep root /etc/passwd
grep "$USER" /etc/passwd
grep `whoami` /etc/passwd
選項:
--color=auto:顯示顏色;
-i, --ignore-case:忽略字符大小寫;
-o, --only-matching:只顯示匹配到的部分;
-n, --line-number:顯示行號;
-v, --invert-match:反向顯示,顯示未匹配到的行;
-E, --extended-regexp:支持使用擴展的正則表達式;
-q, --quiet, --silent:靜默模式,即不輸出任何信息;
-w, --word-regexp:整行匹配整個單詞;
-c, --count:統計匹配到的行數; print a count of matching lines;
-B, --before-context=NUM:print NUM lines of leading context 后#行
-A, --after-context=NUM:print NUM lines of trailing context 前#行
-C, --context=NUM:print NUM lines of output context 前后各#行
基本正則表達式的元字符
1、字符匹配:
.:匹配任意單個字符;
[]:匹配指定范圍內的任意單個字符;
[^]:匹配指定范圍外的任意單個字符;
2、匹配次數:用在要指定其出現的次數的字符后面,用於限制其前面字符出現的次數;
*:匹配其前面的字符任意次;0,1,多次;
例如:grep "x*y"
abxy
aby
xxxxy
yab
.*:匹配任意長度的任意字符;
\?:匹配其前面的字符0次或1次;
\+:匹配其前面的字符1次或多次;即其前面的字符要出現至少1次;
\{m\}:匹配其前面字符m次;
\{m,n\}:匹配其前面的字符至少m次,至多n次;
\{0,n\}:至多n次
\{m,\}:至少m次
3、位置錨定:
^:行首錨定;用於模式的最左側;匹配開頭的字符;
# grep '^root' /etc/passwd 匹配以root開頭的行
$:行尾錨定;用於模式的最右側;匹配結尾的字符;
# grep 'r.*h$' /etc/passwd 匹配以r開頭以h結尾的行
^$:空行
^[[:space:]]*$:空行或包含空白字符的行;
單詞:非特殊字符組成的連續字符(字符串)都稱為單詞;
\<或\b:詞首錨定,用於單詞模式的左側;界定單詞的左邊界;
\<hello 用於匹配以hello開頭的單詞
\>或\b:詞尾錨定,用於單詞模式的右側;
hello\> 用於匹配以hello結尾的單詞
\<PATTERN\>:匹配完整單詞;
\<hello\> 可精確匹配單詞hello,而不是helloworld
4、分組及引用
\(\):將一個或多個字符捆綁在一起,當作一個整體進行處理;括號不能交叉,但可以嵌套;
\(xy\)*ab
注意:分組括號中的模式匹配到的內容會被正則表達式引擎自動記錄於內部變量中,這些變量為:
\1:模式從左側起,第一個左括號以及與之匹配的右括號之間的模式所匹配到的字符;
\2:模式從左側起,第二個左括號以及與之匹配的右括號之間的模式所匹配到的字符;
\3:
...
# vim lovers.txt
he loves his lover.
he likes his lover.
she likes her liker.
she loves her liker.
# grep "\(l..e\).*\1" lovers.txt
# grep "^\(r..t\).*\1" /etc/passwd
5、后向引用:\1表示后向引用,引用前面第一個括號所匹配到的內容;
\d:匹配一個數字;等價於[0-9];
\w:匹配字母、數字和下划線;
\W:匹配非字母、數字和下划線;
\n:換行符;
\r:回車;
\t:制表符;tab
\f:換頁符;
\s:空白字符;
\S:非空白字符;
egrep
支持擴展的正則表達式實現類似於grep文本過濾功能;
egrep [OPTIONS] PATTERN [FILE...]
選項:與grep相同
特別選項:-G,支持基本正則表達式
擴展正則表達式的元字符
字符匹配:
.:任意單個字符
[]:指定范圍內的任意單個字符
[^]:指定范圍外的任意單個字符
次數匹配:
*:任意次,0,1或多次;
?:0次或1次,其前的字符是可有可無的;
+:其前的字符至少1次;
{m}:其前的字符m次;
{m,n}:至少m次,至多n次;
{0,n}
{m,}
位置錨定
^:行首錨定;
$:行尾錨定;
\<,\b:詞首錨定;
\>,\b:詞尾錨定;
# grep "\<abc" f1 過濾abc開始的單詞的行
# grep " abc\>" f1 過濾abc結尾的單詞的行
# grep ‘c.\{2\}t’ f1 c后面任意兩個字符加t
分組及引用
():分組,括號內的模式匹配到的字符會被記錄於正則表達式引擎的內部變量中;
后向引用:\1,\2,...
或關系:
a|b:a或者b;
C|cat:C或cat;
(c|C)at:cat或Cat;
1、顯示/etc/passwd文件中不以/bin/bash結尾的行;
# grep -v "/bin/bash$" /etc/passwd
2、找出/etc/passwd文件中的兩位數或三位數;
# grep "\<[0-9]\{2,3\}\>" /etc/passwd
# egrep "\<[0-9]{2,3}\>" /etc/passwd
3、找出/etc/rc.d/rc.sysinit或/etc/grub2.cfg文件中,以至少一個空白字符開頭,且后面非空白字符的行;
# grep "^[[:space]]\+[^[:space:]]" /etc/grub2.cfg
# egrep "^[[:space]]+[^[:space:]]" /etc/grub2.cfg
4、找出"netstat -tan"命令的結果中以'LISTEN'后跟0,1或多個空白字符結尾的行;
# netstat -tan | grep "LISTEN[[:space:]]*$"
5、找出/proc/meminfo文件中,所有以大寫或小寫s開頭的行;
# grep "^[sS]" /proc/meminfo
# grep -i "^s" /proc/meminfo
# egrep "^(s|S)" /proc/meminfo
6、顯示當前系統上root、centos或user1用戶的相關信息;
# egrep "^(root|centos|user1)\>" /etc/passwd
7、找出/etc/rc.d/functions文件中的某個單詞后面跟一個小括號的行;
# egrep "[[:alnum:]]+\(\)" /etc/rc.d/init.d/functions
8、使用echo命令輸出一個絕對路徑,使用egrep取出其基名;
# echo /etc/sysconfig | egrep -o "[^/]+$"
9、找出ifconfig命令結果中的1-255之間的數值;
# ifconfig | egrep -o "[1-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5]"
10、找出ifconfig命令結果中的IP地址;
# ifconfig | grep "inet\>" | tr -s " " | cut -d" " -f3
11、添加用戶bash,testbash,basher以及nologin(其shell為/sbin/nologin);而后找出/etc/passwd文件中用戶名同shell名的行;
# useradd bash
# useradd testbash
# useradd basher
# useradd -s /bin/nologin nologin
# egrep "^([^:]+\>).*\1$" /etc/passwd
或者 # egrep "(\<..*\>).*\1$" /etc/passwd
12、顯示/etc/passwd文件中ID號最大的用戶的用戶名
# sort -t: -k3 -n /etc/passwd | tail -1 | cut -d: -f1
13、顯示用戶rpc默認的shell程序
# grep "\<rpc\>" /etc/passwd | cut -d: -f7
14、顯示當前系統root、mage或wang用戶的UID和默認shell;
# useradd mage
# useradd wang
# egrep "^(root|mage|wang)\>" /etc/passwd | cut -d: -f1,3,7
15、找出/etc/rc.d/init.d/functions文件中行首為某單詞(包括下划線)后面跟一個小括號的行;
# egrep -o "^[[:alpha:]]*_*.*\(\)" /etc/rc.d/init.d/functions
16、使用egrep取出/etc/rc.d/init.d/functions中其基名;
# echo /etc/rc.d/init.d/functions | egrep -o "[^/]+$"
17、使用egrep取出上面路徑的目錄名;
# echo /etc/rc.d/init.d/functions | egrep -o "^.*\/" | egrep -o "^.*[^/]"
18、統計以root身份登錄的每個遠程主機的IP地址的登錄次數;
# last | tr -s " " | grep "^root\>" | cut -d" " -f3
19、利用擴展正則表達式分別表示0-9、10-99、100-199、200-249、250-255;
[0-9]
[1-9][0-9]
1[0-9]{2}
2[0-4][0-9]
25[0-5]
20、顯示ifconfig命令結果所有IPv4地址;
# ifconfig | egrep "(\<([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\>\.){3}\<([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\>"
# ifconfig | egrep "([0-9]{1,3}\.){3}[0-9]{1,3}"
fgrep:不支持正則表達式元字符;
當無需用到元字符去編寫模式時,使用fgrep性能更好;