一、grep簡介：
grep （縮寫來自Globally search a Regular Expression and Print）是一種強大的文本搜索工具，它能使用正則表達式搜索文本，並把匹配的行打印出來。Unix的grep家族包括grep、egrep和fgrep
表達符集
^
錨定行的開始 如：'^grep'匹配所有以grep開頭的行。
$
錨定行的結束 如：'grep$'匹配所有以grep結尾的行。
.
匹配一個非換行符('\n')的字符如：'gr.p'匹配gr后接一個任意字符，然后是p。
*
匹配零個或多個先前字符 如：' *grep' (注意*前有空格)匹配所有零個或多個空格后緊跟grep的行，需要用egrep 或者grep帶上 -E 選項。 .*一起用代表任意字符。
[]
匹配一個指定范圍內的字符，如'[Gg]rep'匹配Grep和grep。
[^]
匹配一個不在指定范圍內的字符，如：'[^A-FH-Z]rep'匹配不包含A-F和H-Z的一個字母開頭，緊跟rep的行。
\(..\)
標記匹配字符，如'\(love\)'，love被標記為1。
\<
錨定單詞的開始，如:'\<grep'匹配包含以grep開頭的單詞的行。
\>
錨定單詞的結束，如'grep\>'匹配包含以grep結尾的單詞的行。
x\{m\}
重復字符x，m次，如：'o\{5\}'匹配包含5個o的行。
x\{m,\}
重復字符x,至少m次，如：'o\{5,\}'匹配至少有5個o的行。
x\{m,n\}
重復字符x，至少m次，不多於n次，如：'o\{5,10\}'匹配5--10個o的行。
\w
匹配文字和數字字符，也就是[A-Za-z0-9]，如：'G\w*p'匹配以G后跟零個或多個文字或數字字符，然后是p。
\W
\w的反置形式，匹配一個或多個非單詞字符，如點號句號等。
\b
用於egrep和 grep -E的元字符擴展集
\+
匹配一個或多個先前的字符。如：'[a-z]\+able'，匹配一個或多個小寫字母后跟able的串，如loveable,enable,disable等。
\?
匹配零個或一個先前的字符。如：'gr\?p'匹配gr后跟一個或沒有字符，然后是p的行。
a\|b\|c
匹配a或b或c。如：grep|sed匹配grep或sed
\(\)
分組符號，如：love\(ab\le\|rs\)ov\+匹配loveable或lovers，匹配一個或多個ov。
參數選項：
列出個別使用頻發的選項
1、-v 顯示不包含匹配文本的所有行
過濾掉文件中aaa的行數
2、-l 輸出匹配的文件名
-l 查詢多文件時只輸出包含匹配字符的文件名，而不輸出文本行。
$grep -l "lcj" * datafile
3、-i 忽略大小寫
-i 關閉大小寫敏感性。
示例，查找含有“lcj”這三個字符的行，並且不區分大小寫：
[root@lcj lcj]# cat aa.txt aaaa BBBB cccc DDDD eeee EEEE [root@lcj lcj]# grep bb aa.txt [root@lcj lcj]# grep -i bb aa.txt BBBB [root@lcj lcj]#
4、-n 顯示匹配的行及行號
示例：查找aa.txt文件中含有“CAD”的所有行，並顯示行號：
[root@lcj lcj]# grep -n c aa.txt 3:cccc [root@lcj lcj]#
二、awk簡介
實例：
截取文件中指定字段；
需要截取GET后面的html數據，前提是要過濾出http 狀態碼為200
grep “\” 200 :過濾出http狀態碼為200
awk -F “GET”：指定從那列開始截取
‘{print $2}’：去除字段之間的空格進行截取【如： _"GET_ /11260464.html 】
上面截圖雖然前面的字段是我們所需要的字段，可后面還有多余的數據，如下過濾后面多余的數據：
awk '{print $1}':去除第一個空格之后的所有數據
head：顯示前面10條數據，方便查看數據截取結果，最后可以通過>進行重定向指定文件中
案例
增加“grep”和“awk“命令結合使用案列：
案例：需要獲取GET請求 ，狀態碼為200，並過濾掉json和area字段的所有行
[root@lcj lcj]# cat 200.txt |grep " 200 " | awk -F"GET" '{print $2}'| awk '{print $1}' | grep -v "/js/" |grep -v area >test001.csv
grep -v過濾字段所在行
繼續完善中、、、、、