Nginx日志分析可以獲得很多有用的信息，現在來試試最基本的，獲取最多訪問的前10個IP地址及訪問次數。
既然是統計，那么awk是必不可少的，好用而高效。
命令如下：
awk '{a[$1] += 1;} END {for (i in a) printf("%d %s\n", a[i], i);}' 日志文件 | sort -n | tail
首先用awk統計出來一個列表，然后用sort進行排序，最后用tail取最后的10個。
以上參數可以略作修改顯示更多的數據，比如將tail加上-n參數等，另外日志格式不同命令也可能需要稍作修改。
當前WEB服務器中聯接次數最多的ip地址
#netstat -ntu |awk '{print $5}' |sort | uniq -c| sort -nr
查看日志中訪問次數最多的前10個IP
#cat access_log |cut -d ' ' -f 1 |sort |uniq -c | sort -nr | awk '{print $0 }' | head -n 10 |less
查看日志中出現100次以上的IP
#cat access_log |cut -d ' ' -f 1 |sort |uniq -c | awk '{if ($1 > 100) print $0}'｜sort -nr |less
查看最近訪問量最高的文件
#cat access_log |tail -10000|awk '{print $7}'|sort|uniq -c|sort -nr|less
查看日志中訪問超過100次的頁面
#cat access_log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less
統計某url，一天的訪問次數
#cat access_log|grep '12/Aug/2009'|grep '/images/index/e1.gif'|wc|awk '{print $1}'
前五天的訪問次數最多的網頁
#cat access_log|awk '{print $7}'|uniq -c |sort -n -r|head -20
從日志里查看該ip在干嘛
#cat access_log | grep 218.66.36.119| awk '{print $1"\t"$7}' | sort | uniq -c | sort -nr | less
列出傳輸時間超過 30 秒的文件
#cat access_log|awk '($NF > 30){print $7}' |sort -n|uniq -c|sort -nr|head -20
列出最最耗時的頁面(超過60秒的)
#cat access_log |awk '($NF > 60 && $7~/\.PHP/){print $7}' |sort -n|uniq -c|sort -nr|head -100
tail web.2016-06-06.log -n 300 -f 查看底部即最新300條日志記錄，並實時刷新
grep 'nick' | tail web.2016-04-04.log
-C 10 查看字符‘nick’前后10條日志記錄, 大寫C
本文介紹Linux下tail命令的使用方法。
linux tail命令用途是依照要求將指定的文件的最后部分輸出到標准設備，通常是終端，通俗講來，就是把某個檔案文件的最后幾行顯示到終端上，假設該檔案有更新，tail會自己主動刷新，確保你看到最新的檔案內容。
一、tail命令語法
tail [ -f ] [ -c Number | -n Number | -m Number | -b Number | -k Number ] [ File ]
參數解釋：
-f 該參數用於監視File文件增長。
-c Number 從 Number 字節位置讀取指定文件
-n Number 從 Number 行位置讀取指定文件。
-m Number 從 Number 多字節字符位置讀取指定文件，比方你的文件假設包括中文字，假設指定-c參數，可能導致截斷，但使用-m則會避免該問題。
-b Number 從 Number 表示的512字節塊位置讀取指定文件。
-k Number 從 Number 表示的1KB塊位置讀取指定文件。
File 指定操作的目標文件名稱
上述命令中，都涉及到number，假設不指定，默認顯示10行。Number前面可使用正負號，表示該偏移從頂部還是從尾部開始計算。
tail可運行文件一般在/usr/bin/以下。
二、tail命令使用方法演示例子
1、tail -f filename
說明：監視filename文件的尾部內容（默認10行，相當於增加參數 -n 10），刷新顯示在屏幕上。退出，按下CTRL+C。
2、tail -n 20 filename
說明：顯示filename最后20行。
3、tail -r -n 10 filename
說明：逆序顯示filename最后10行。
補充：
跟tail功能相似的命令還有：
cat 從第一行開始顯示檔案內容。
tac 從最后一行開始顯示檔案內容。
more 分頁顯示檔案內容。
less 與 more 相似，但支持向前翻頁
head 僅僅顯示前面幾行
tail 僅僅顯示后面幾行
n 帶行號顯示檔案內容
od 以二進制方式顯示檔案內容
日 志 文 件 說 明
/var/log/message 系統啟動后的信息和錯誤日志，是Red Hat Linux中最常用的日志之一
/var/log/secure 與安全相關的日志信息
/var/log/maillog 與郵件相關的日志信息
/var/log/cron 與定時任務相關的日志信息
/var/log/spooler 與UUCP和news設備相關的日志信息
/var/log/boot.log 守護進程啟動和停止相關的日志消息
系統：
# uname -a # 查看內核/操作系統/CPU信息
# cat /etc/issue
# cat /etc/redhat-release # 查看操作系統版本
# cat /proc/cpuinfo # 查看CPU信息
# hostname # 查看計算機名
# lspci -tv # 列出所有PCI設備
# lsusb -tv # 列出所有USB設備
# lsmod # 列出加載的內核模塊
# env # 查看環境變量
資源：
# free -m # 查看內存使用量和交換區使用量
# df -h # 查看各分區使用情況
# du -sh <目錄名> # 查看指定目錄的大小
# grep MemTotal /proc/meminfo # 查看內存總量
# grep MemFree /proc/meminfo # 查看空閑內存量
# uptime # 查看系統運行時間、用戶數、負載
# cat /proc/loadavg # 查看系統負載
磁盤和分區：
# mount | column -t # 查看掛接的分區狀態
# fdisk -l # 查看所有分區
# swapon -s # 查看所有交換分區
# hdparm -i /dev/hda # 查看磁盤參數(僅適用於IDE設備)
# dmesg | grep IDE # 查看啟動時IDE設備檢測狀況
網絡：
# ifconfig # 查看所有網絡接口的屬性
# iptables -L # 查看防火牆設置
# route -n # 查看路由表
# netstat -lntp # 查看所有監聽端口
# netstat -antp # 查看所有已經建立的連接
# netstat -s # 查看網絡統計信息
進程：
# ps -ef # 查看所有進程
# top # 實時顯示進程狀態（另一篇文章里面有詳細的介紹）
用戶：
# w # 查看活動用戶
# id <用戶名> # 查看指定用戶信息
# last # 查看用戶登錄日志
# cut -d: -f1 /etc/passwd # 查看系統所有用戶
# cut -d: -f1 /etc/group # 查看系統所有組
# crontab -l # 查看當前用戶的計划任務
服務：
# chkconfig –list # 列出所有系統服務
# chkconfig –list | grep on # 列出所有啟動的系統服務
程序：
# rpm -qa # 查看所有安裝的軟件包
補充：
cat /var/log/*.log
如果日志在更新，如何實時查看 tail -f /var/log/messages
還可以使用 watch -d -n 1 cat /var/log/messages
-d表示高亮不同的地方，-n表示多少秒刷新一次。
該指令，不會直接返回命令行，而是實時打印日志文件中新增加的內容，這一特性，對於查看日志是非常有效的。如果想終止輸出，按 Ctrl+C 即可。
在Linux系統中，有三個主要的日志子系統：
連接時間日志--由多個程序執行，把紀錄寫入到/var/log/wtmp和/var/run/utmp，login等程序更新wtmp和utmp文件，使系統管理員能夠跟蹤誰在何時登錄到系統。
進程統計--由系統內核執行。當一個進程終止時，為每個進程往進程統計文件（pacct或acct）中寫一個紀錄。進程統計的目的是為系統中的基本服務提供命令使用統計。
錯誤日志--由syslogd（8）執行。各種系統守護進程、用戶程序和內核通過syslog（3）向文件/var/log/messages報告值得注意的事件。另外有許多UNIX程序創建日志。像HTTP和FTP這樣提供網絡服務的服務器也保持詳細的日志。
常用的日志文件如下：
access-log 紀錄HTTP/web的傳輸
acct/pacct 紀錄用戶命令
aculog 紀錄MODEM的活動
btmp 紀錄失敗的紀錄
lastlog 紀錄最近幾次成功登錄的事件和最后一次不成功的登錄
messages 從syslog中記錄信息（有的鏈接到syslog文件）系統啟動后的信息和錯誤日志，是Red Hat Linux中最常用的日志之一
sudolog 紀錄使用sudo發出的命令
sulog 紀錄使用su命令的使用
syslog 從syslog中記錄信息（通常鏈接到messages文件）
utmp 紀錄當前登錄的每個用戶
wtmp 一個用戶每次登錄進入和退出時間的永久紀錄
xferlog 紀錄FTP會話
/var/log/secure與安全相關的日志信息
/var/log/maillog 與郵件相關的日志信息
/var/log/cron 與定時任務相關的日志信息
/var/log/spooler 與UUCP和news設備相關的日志信息
/var/log/boot.log 守護進程啟動和停止相關的日志消息
utmp、wtmp和lastlog日志文件是多數重用UNIX日志子系統的關鍵--保持用戶登錄進入和退出的紀錄。有關當前登錄用戶的信息記 錄在文件utmp中；登錄進入和退出紀錄在文件wtmp中；最后一次登錄文件可以用lastlog命令察看。數據交換、關機和重起也記錄在wtmp文件 中。所有的紀錄都包含時間戳。這些文件（lastlog通常不大）在具有大量用戶的系統中增長十分迅速。例如wtmp文件可以無限增長，除非定期截取。許 多系統以一天或者一周為單位把wtmp配置成循環使用。它通常由cron運行的腳本來修改。這些腳本重新命名並循環使用wtmp文件。通常，wtmp在第 一天結束后命名為wtmp.1；第二天后wtmp.1變為wtmp.2等等，直到wtmp.7。
每次有一個用戶登錄時，login程序在文件lastlog中察看用戶的UID。如果找到了，則把用戶上次登錄、退出時間和主機名寫到標准輸出中，然 后login程序在lastlog中紀錄新的登錄時間。在新的lastlog紀錄寫入后，utmp文件打開並插入用戶的utmp紀錄。該紀錄一直用到用戶 登錄退出時刪除。utmp文件被各種命令文件使用，包括who、w、users和finger。
下一步，login程序打開文件wtmp附加用戶的utmp紀錄。當用戶登錄退出時，具有更新時間戳的同一utmp紀錄附加到文件中。wtmp文件被程序last和ac使用。
具體命令
wtmp和utmp文件都是二進制文件，他們不能被諸如tail命令剪貼或合並（使用cat命令）。用戶需要使用who、w、users、last和ac來使用這兩個文件包含的信息。
who：who命令查詢utmp文件並報告當前登錄的每個用戶。Who的缺省輸出包括用戶名、終端類型、登錄日期及遠程主機。例如：who（回車）顯示
chyang pts/0 Aug 18 15:06
ynguo pts/2 Aug 18 15:32
ynguo pts/3 Aug 18 13:55
lewis pts/4 Aug 18 13:35
ynguo pts/7 Aug 18 14:12
ylou pts/8 Aug 18 14:15
如果指明了wtmp文件名，則who命令查詢所有以前的紀錄。命令who /var/log/wtmp將報告自從wtmp文件創建或刪改以來的每一次登錄。
w：w命令查詢utmp文件並顯示當前系統中每個用戶和它所運行的進程信息。例如：w（回車）顯示：3:36pm up 1 day, 22:34, 6 users, load average: 0.23, 0.29, 0.27。
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
chyang pts/0 202.38.68.242 3:06pm 2:04 0.08s 0.04s -bash
ynguo pts/2 202.38.79.47 3:32pm 0.00s 0.14s 0.05 w
lewis pts/3 202.38.64.233 1:55pm 30:39 0.27s 0.22s -bash
lewis pts/4 202.38.64.233 1:35pm 6.00s 4.03s 0.01s sh /home/users/
ynguo pts/7 simba.nic.ustc.e 2:12pm 0.00s 0.47s 0.24s telnet mail
ylou pts/8 202.38.64.235 2:15pm 1:09m 0.10s 0.04s -bash
users：users用單獨的一行打印出當前登錄的用戶，每個顯示的用戶名對應一個登錄會話。如果一個用戶有不止一個登錄會話，那他的用戶名將顯示相同的次數。例如：users（回車）顯示：chyang lewis lewis ylou ynguo ynguo
last：last命令往回搜索wtmp來顯示自從文件第一次創建以來登錄過的用戶。例如：
chyang pts/9 202.38.68.242 Tue Aug 1 08:34 - 11:23 (02:49)
cfan pts/6 202.38.64.224 Tue Aug 1 08:33 - 08:48 (00:14)
chyang pts/4 202.38.68.242 Tue Aug 1 08:32 - 12:13 (03:40)
lewis pts/3 202.38.64.233 Tue Aug 1 08:06 - 11:09 (03:03)
lewis pts/2 202.38.64.233 Tue Aug 1 07:56 - 11:09 (03:12)
如果指明了用戶，那么last只報告該用戶的近期活動，例如：last ynguo（回車）顯示：
ynguo pts/4 simba.nic.ustc.e Fri Aug 4 16:50 - 08:20 (15:30)
ynguo pts/4 simba.nic.ustc.e Thu Aug 3 23:55 - 04:40 (04:44)
ynguo pts/11 simba.nic.ustc.e Thu Aug 3 20:45 - 22:02 (01:16)
ynguo pts/0 simba.nic.ustc.e Thu Aug 3 03:17 - 05:42 (02:25)
ynguo pts/0 simba.nic.ustc.e Wed Aug 2 01:04 - 03:16 1+02:12)
ynguo pts/0 simba.nic.ustc.e Wed Aug 2 00:43 - 00:54 (00:11)
ynguo pts/9 simba.nic.ustc.e Thu Aug 1 20:30 - 21:26 (00:55)
ac：ac命令根據當前的/var/log/wtmp文件中的登錄進入和退出來報告用戶連結的時間（小時），如果不使用標志，則報告總的時間。例如：ac（回車）顯示：total 5177.47
ac -d（回車）顯示每天的總的連結時間
Aug 12 total 261.87
Aug 13 total 351.39
Aug 14 total 396.09
Aug 15 total 462.63
Aug 16 total 270.45
Aug 17 total 104.29
Today total 179.00
ac -p （回車）顯示每個用戶的總的連接時間
ynguo 193.23
yucao 3.35
rong 133.40
hdai 10.52
zjzhu 52.87
zqzhou 13.14
liangliu 24.34
total 5178.22
lastlog：lastlog文件在每次有用戶登錄時被查詢。可以使用lastlog命令來檢查某特定用戶上次登錄的時間，並格式化輸出上次登錄日 志/var/log/lastlog的內容。它根據UID排序顯示登錄名、端口號（tty）和上次登錄時間。如果一個用戶從未登錄過，lastlog顯 示"**Never logged**。注意需要以root運行該命令，例如：
rong 5 202.38.64.187 Fri Aug 18 15:57:01 +0800 2000
dbb **Never logged in**
xinchen **Never logged in**
pb9511 **Never logged in**
xchen 0 202.38.64.190 Sun Aug 13 10:01:22 +0800 2000
另外，可一加一些參數，例如，lastlog -u 102將報告UID為102的用戶；lastlog -t 7表示限制上一周的報告。
實戰演練：file.log
1.獲取文件的行數 wc-l
2.輸出文件的最后5行到file2.log
tail -n -20 build.php >>test.php
3.打印文件中包含 www.baidu.com 的行
awk '{if($0~"www.baidu.com") print}' xxx.log
解釋說明：抽取xxx.log整個日志文件中，包含“www.baidu.com”的行，打印輸出
4.查找當前目錄下包含Data 子目錄的所有目錄,並且刪除
find .-name "Data"
find . -name "Data" |xargs rm -rf
5.如何讓一個程序在后台運行並把輸出定向到指定的文件
用符號" <"和">"來表示。0、1和2分別表示標准輸入、標准輸出和標准錯誤信息輸出，可以用來指定需要重定向的標准輸入或輸出，比如 2>a.txt 表示將錯誤信息輸出到文件a.txt中。
test.php & 0>>/usr/log/test
6.如何把一個文件的內容追加到另外一個文件的末尾
cat file1 >> file1
7.實時查看某個文件的輸出：
at /var/log/*.log
如果日志在更新，如何實時查看 tail -f /var/log/messages
還可以使用 watch -d -n 1 cat /var/log/messages
-d表示高亮不同的地方，-n表示多少秒刷新一次。
該指令，不會直接返回命令行，而是實時打印日志文件中新增加的內容，這一特性，對於查看日志是非常有效的。如果想終止輸出，按 Ctrl+C 即可。
8.定時任務