前言
SIEM（security information and event management），顧名思義就是針對安全信息和事件的管理系統，針對大多數企業是不便宜的安全系統，本文結合作者的經驗介紹下如何使用開源軟件搭建企業的SIEM系統，數據深度分析在下篇。
SIEM的發展
對比Gartner2009年和2016年的全球SIEM廠商排名，可以清楚看出，基於大數據架構的廠商Splunk迅速崛起，傳統四強依托完整的安全產品線和成熟市場渠道，依然占據領導者象限，其他較小的廠商逐漸離開領導者象限。最重要的存儲架構也由盤櫃（可選）+商業數據庫逐漸轉變為可橫向擴展的大數據架構，支持雲環境也成為趨勢。
開源SIEM領域，比較典型的就是ossim和Opensoc，ossim存儲架構是mysql，支持多種日志格式，包括鼎鼎大名的Snort、Nmap、 Nessus以及Ntop等，對於數據規模不大的情況是個不錯的選擇，新版界面很酷炫。
完整的SIEM至少會包括以下功能：
- 漏洞管理
- 資產發現
- 入侵檢測
- 行為分析
- 日志存儲、檢索
- 報警管理
- 酷炫報表
其中最核心的我認為是入侵檢測、行為分析和日志存儲檢索，本文重點集中討論支撐上面三個功能的技術架構。
Opensoc簡介
Opensoc是思科2014年在BroCon大會上公布的開源項目，但是沒有真正開源其源代碼，只是發布了其技術框架。我們參考了Opensoc發布的架構，結合公司實際落地了一套方案。Opensoc完全基於開源的大數據框架kafka、storm、spark和es等，天生具有強大的橫向擴展能力，本文重點講解的也是基於Opensoc的siem搭建。
上圖是Opensoc給出的框架，初次看非常費解，我們以數據存儲與數據處理兩個緯度來細化，以常見的linux服務器ssh登錄日志搜集為例。
后記
如何在離線數據中，通過行為分析和攻擊建模識別出深入的入侵行為呢？請看下篇。
來自：http://www.freebuf.com/special/127172.html