awk和sed截取nginx和tomcat時間段日志

1 nginx日志截取示例

　　日志路徑：/usr/local/nginx/logs, 截取access.log中2019年3月24日17點00~02之間的日志：

　　寫法1：

cat access.log | awk '$4 >="[24/Mar/2019:17:00:00" && $4 <="[24/Mar/2019:17:02:00"'

　　寫法2：

cat access.log | egrep "24/Mar/2019" | awk -F':' '$2 = 17 && $3 >= 00 && $3 <= 02'

　　寫法3：

cat access.log |egrep "24/Mar/2019" |sed -n '/17:00:00/,/17:02:00/p'

2 tomcat日志截取示例

　　日志路徑：/usr/local/tomcat/logs, 截取catalina.out中2019年3月24日17點00~02之間的日志：

 　　寫法1：

sed -n '/2019-03-24 17:00:/,/2019-03-24 17:02:/p'  catalina.out

　　寫法2：

cat catalina.out| egrep "2019-03-24" | awk -F':' '$2 = 17 && $3 >= 00 && $3 <= 02'

3 awk統計nginx日志的ip訪問量

　　nginx日志事先截取一部分：tail -n500 access.log >access.log1

　　第一種：使用awk sort，$1表示以空格為分割符的第一列，也就是文件中的ip地址，使用sort對結果排序，uniq -c進行計數，最后sort -n是以“數字”來排序，針對統計后的訪問次數來排序

awk '{print $1}' access.log1|sort |uniq -c|sort -n
      1 113.111.9.152
      1 203.208.60.22
      1 66.85.6.225
      2 121.32.197.253
      2 121.69.66.226
      2 123.132.237.10
      2 218.75.223.169
      2 58.216.212.226
      2 58.246.39.218
      2 59.110.50.24
      4 223.223.203.106
      6 111.193.230.31
      8 180.170.208.189
     11 121.249.192.131
     12 218.89.241.229
     12 222.65.85.75
     17 202.106.149.226
     22 39.107.204.192
     24 111.160.58.154
     81 1.202.225.46
    101 47.75.230.56
    185 39.155.239.138

　　第二種：awk for,即數組; 默認變量為0，對每一行的$1作為key，count數組++，實現ip的計數。計數結束后END。然后把結果打印出來，最后sort -n以“數字”排序。

awk '{count[$1]++;}END{for(i in count){printf("%s\t%s\n", count[i], i);}}' access.log1|sort -n
1	113.111.9.152
1	203.208.60.22
1	66.85.6.225
2	121.32.197.253
2	121.69.66.226
2	123.132.237.10
2	218.75.223.169
2	58.216.212.226
2	58.246.39.218
2	59.110.50.24
4	223.223.203.106
6	111.193.230.31
8	180.170.208.189
11	121.249.192.131
12	218.89.241.229
12	222.65.85.75
17	202.106.149.226
22	39.107.204.192
24	111.160.58.154
81	1.202.225.46
101	47.75.230.56
185	39.155.239.138

　　補充：如果是倒序，需要加上-r(以相反的順序來排序),-k(選擇以哪個區間進行排序), 如統計nginx日志里訪問次數最多的前10個IP

awk '{print $1}' access.log1|sort |uniq -c|sort -nr -k1 |head -n 10
    185 39.155.239.138
    101 47.75.230.56
     81 1.202.225.46
     24 111.160.58.154
     22 39.107.204.192
     17 202.106.149.226
     12 222.65.85.75
     12 218.89.241.229
     11 121.249.192.131
      8 180.170.208.189

 　　這里不加-k也是默認...

4 取nginx日志訪問接口次數

　　通過上面的方法將某個時間段日志取出來，查詢該時間段訪問接口最多的前10：

cat tongji.sh 
#!/bin/bash
 #統計接口的訪問次數
 TODAY=`date +%d/%b/%Y`
 cat $1 |awk -F '"' '{print $2}'|awk '{split($2,res,"?") ; print res[1] }'|sort|uniq -c|sort -gr |head -n10

　　

　　可以根據適當需求調整參數