Splunk 作為大數據搜索處理軟件,作為行業的翹楚,絕對值得探索和學習,Splunk能實時對任何應用程序、服務器或者網絡設備的數據和數據源進行搜索和索引,包括任何位置的日志、配置文件、信息、陷阱和預警、腳本及其他各種類型的信息,號稱 “機器能產生,Splunk就能索引”。
1、Splunk的正則使用
常用的的匹配方式為: rex 和regex
1.1 regex :將刪除與指定正則表達式不匹配的結果
語法 regex (<field>=<regex-expression> | <field>!=<regex-expression> | <regex-expression>) 示例 匹配192開頭的IP | regex _raw="(192.\d+.\d+.\d+)"
1.2 rex : 使⽤該命令既可以通過以正則表達式命名的群組提取字段,也可以通過 Sed 表達式替換或取代字段中的字符。
語法
rex [field=<field>](<regex-expression>[max_match=<int>] [offset_field=<string>])|(mode=sed <sed-expression>)
示例
日志信息:131.253.24.135 fail admin 目標:提取出ip、result、user 表達式: |regex field=_raw "(?<ip>\d+.\d+.\d+.\d+)(?<result>\w+)(<user>\w+)"
更多具體的示例見官方文檔:https://docs.splunk.com/Documentation/Splunk/6.6.0/SearchReference/Rex
2、Splunk 可視化和搜索
更多有趣的、更加詳細的可以參考:https://www.freebuf.com/articles/database/123006.html
或者官方文檔:https://docs.splunk.com/Documentation/Splunk/6.6.0/SearchReference/WhatsInThisManual
3、Splunk 與 ElasticSearch 對比
看過一篇文章,ElasticSearch可以實現 查詢億級數據毫秒級返回,可見 Splunk 與 ElasticSearch 這兩個搜索巨頭強大之處。
對於這兩者的比較可以參考:https://blog.51cto.com/splunkchina/1948105
本文參考:https://blog.csdn.net/Cwiky_1993/article/details/72725355