linux下使用awk命令按時間段篩選日志

zcat com.log20160529.gz | grep 'dianping_reply'| awk '{split($4,array,"[");if(array[2]>="29/May/2016:00:00:26" && array[2]<="29/May/2016:00:01:14"){print $0}}' 

解釋：掃描gz壓縮文件，從中尋找帶有`dianping_reply`的行，將改行按照`[`進行拆分，然后直接使用if條件進行判斷，比較，最終輸出想要的結果。

命令解析：

zcat 直接讀取壓縮文件的內容
grep用來過濾特定字符的行 awk 用來執行命令 split用來切分字符串

統計某段時間訪問量最多的10個ip地址：
cat jie.jisujie.com.20200516.log|awk '{split($4,array,"]");if(array[1]>="14:13:55" && array[1]<="21:53:55"){print $0}}'|awk '{print $1}'|sort |uniq -c|sort -n|tail -10

 

 查詢耗時大於3秒的響應：cat $log|grep 響應|awk '{split($8, arr,":");if((arr[2]+0)>3)print $8}' 

 

  查詢耗時大於3秒的接口調用次數：

cat $log|grep 響應|awk '{split($8, arr,":");if((arr[2]+0)>3){split($6,funcarr,"-");print funcarr[1]}}'|sort|uniq -c |sort -nr

 

 其他寫法參考如下(不是統計上面的日志)：

 cat 接口日志文件|sed 's/ms,//g' |awk '{ if (substr($8,9) -100 >0 ) print}'|awk '{print $9}'|sort|uniq -c|sort -nr|head

按照日期過濾查找：
awk -F - '"2012.12.06 01:56:01" < $1 && $1 <= "2012.12.08 04:30:00"' server.log* 
awk '"16:52:50" < $4' log-m-all-2020-08-21.php|grep 117.136.62.176|awk '{print $4}'
awk '"16:47:50" < $4 && $4<="16:49:07"' log-m-all-2020-08-21.php|grep 117.136.62.176|awk '{print $4}'