日志分析與splunk淺談


難易程度:★★★

閱讀點:linux;python;web安全;日志分析;

文章作者:xiaoye

文章來源:i春秋 關鍵字:網絡滲透技術

前言

 

linux下的日志分析對企業來說非常重要,對我們分析pv或者入侵事件溯源都有很大的價值,今天來簡單談一談日志分析方向的利器splunk,splunk應該是站在日志分析應用的頂端了,應用廣泛功能強大,本文只能簡單說說其安裝以及應用。p.s:本文環境是自己虛擬機搭建的,不是生產環境,僅僅做演示。

一、Nginx + uWSGI + Python + Django
我是在CentOS 7下采用Nginx + uWSGI + Python + Django模式的部署,然后使用splunk監控/var/log/nginx/access.log 當然大家不一定非要這樣做
這塊的配置我就不多說了,大家百度一下
配置好后,開啟服務:

log1.PNG

cat下access.log,為了方便演示這里我先echo “” > access.log 清空了一下log,如果是生產環境下切記不要隨意清空日志!:


log2.PNG

二、利用python生成大量log內容
咱們這里只做演示,沒有那么多訪問量log里內容太少怎么辦,寫段簡單的py來不停訪問我們的web服務器,這樣就會在nginx的access.log里留下日志信息了

log3.PNG

#coding: utf-8
import requests 
 
dirs = ["admin", "admin_log", "1.php", "hack.php", ""]
 
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'}
 
for i in range(1,40):
        for dir in dirs:
                url = "http://127.0.0.1/" + dir
                r = requests.get(url=url, headers=headers, timeout=4)
                #print type(dir), type(headers)
                print r.status_code

運行下:

log4.PNG

看下日志條數:

log5.PNG

密密麻麻都是日志:

log6.PNG

三、splunk的搭建以及簡單使用
官網隨便注冊個賬戶,下載下來tar包,當然視操作系統而定下載合適的deb(debian系列用)/rpm(Redhat系列用)也可以
然后

sudo tar -zxvf splunk-6.6.3-e21ee54bc796-Linux-x86_64.tgz //解壓
 
sudo mv splunk /usr/local/  //移動到/usr/local
 
sudo ./splunk enable boot-start   //按q鍵,選擇y
 
sudo service splunk start  //自啟動splunk

我的安裝挺順暢,如果遇到問題百度吧。。

然后訪問http://127.0.0.1:8000,就可以看到splunk的web頁面了:

log7.PNG

選擇add data,然后添加下監控monitor:

log8.PNG

監視器里有一些選項:

文件與目錄:監視文件/文件夾
HTTP事件收集器:監視通過HTTP的數據流
TCP/UDP:監視服務端口
腳本:監控腳本

log9.PNG

選擇自己想要監控的類型,這里我監視一個文件夾/var/log,也可以指定日志文件/var/log/nginx/access.log

log10.PNG

然后就來到下面的界面了,這時候我們之前生成日志內容的腳本就排上用場了,運行一下(splunk是實時監控的):

log11.PNG

上方有搜索指令,右上角有圖形化的訪問統計情況等等等等。。
splunk是很強大的,筆者也是接觸沒多少時間,就先寫到這里吧。。

四、總結

最近也確實挺忙的,所以寫的也比較匆忙,如果有錯誤或是不嚴謹的地方萬望表哥們指出。遇到了坑或者想了解有關於splunk的完整功能,大家可以去官方手冊查看。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM