一、概念
SIEM ( Security Information Event Management，安全信息與事件管理)
Gartner的定義：SIEM為來自企業和組織中所有IT資產（包括網絡、系統和應用)產生的安全信息(包括日志、告警等）進行統一的實時監控、歷史分析，對來自外部的入侵和內部的違規、誤操作行為進行監控、審計分析、調查取證、出具各種報表報告，實現IT資源合規性管理的目標，同時提升企業和組織的安全運營、威脅管理和應急響應能力。
SIEM技術已經存在了十多年，是從日志管理學科發展而來的。最初是基於傳統的日志收集和管理，引入了對日志數據的長期存儲，分析和報告，並將日志與威脅情報結合起來（SIM）；后來具備可以解決系統安全事件的能力：通過對防病毒系統、防火牆和入侵檢測等事件的聚合、關聯，實時分析日志和事件數據，提供威脅監控和事件響應（SEM）。SIEM 作為SOC平台的基礎支撐技術，主要是用來收集、監測和分析網絡資產和安全設備的日志和事件。高級的SIEM已經發展到包括用戶行為分析（UEBA）以及安全編排自動響應（SOAR），近幾年也出現了SIEM和SOAR之爭。SOAR解決方案可以作為SIEM解決方案的一種補充，因為SIEM偏“記錄”，SOAR偏“行動”。
二、作用
1、數據聚合
聚合來自網絡，服務器，數據庫，應用程序和其他安全系統（如防火牆，防病毒和入侵檢測系統（IDS））的數據。
2、威脅情報提供
將內部數據與包含漏洞，威脅參與者和攻擊模式數據的威脅情報源相結合。
3、關聯
將事件和相關數據鏈接到有意義的捆綁包中，這些捆綁包代表真正的安全事件，威脅，漏洞或取證發現。
4、Analytics（分析）
使用統計模型和機器學習來識別數據元素之間更深層次的關系，以及與已知趨勢相比的異常，並將它們與安全問題聯系起來。
5、警報
分析事件並發出警報，通過電子郵件或其他方式，比如安全儀表板即時告知安全人員。
6、儀表板和可視化
創建可視化，以允許員工查看事件數據，識別不符合標准模式的活動
7、合規
自動收集合規性數據，生成適應HIPAA，PCI / DSS，HITECH，SOX和GDPR等標准的安全性、治理和審計流程的報告。
8、存儲
長期存儲歷史數據，以便為合規性要求、追蹤取證等提供數據。
9、威脅發現
允許安全人員對SIEM數據運行查詢，過濾和透視數據，以主動發現威脅或漏洞。
10、事件響應
提供圍繞安全事件的案例管理，協作和知識共享，使安全團隊能夠快速同步基本數據並及時響應威脅。
11、SOC自動化
使用API與其他安全解決方案集成，並允許安全人員定義應執行以響應特定事件的自動化手冊和工作流。
以下是評估SIEM產品時要審核的一些最重要的功能：
•與其他控件集成 - 系統是否可以向其他企業安全控件發出命令以防止或阻止正在進行的攻擊？
• 人工智能 - 系統能否通過機器和深度學習提高自身的准確性？
•威脅情報源 - 系統是否支持組織選擇的威脅情報源，或者是否強制要求使用特定的源？
•強大的合規性報告 - 系統是否包含針對常見合規性需求的內置報告，以及是否為組織提供定制或創建新合規性報告的能力？
• 取證功能 - 系統是否可以通過記錄感興趣的數據包的標頭和內容來捕獲有關安全事件的其他信息？
三、工作原理
SIEM軟件的工作原理是收集整個組織基礎架構中的主機系統，安全設備和應用程序生成的日志以及事件數據，並在集中平台上進行整理。從防病毒事件到防火牆日志，SIEM軟件可識別此數據並將其分類，例如惡意軟件活動，失敗和成功登錄以及其他潛在的惡意活動。
安全信息和事件管理過程可以分解如下：
-
數據收集 - 所有網絡安全信息源（例如服務器，操作系統，防火牆，防病毒軟件和入侵防御系統）都配置為將事件數據提供給SIEM工具。大多數現代SIEM工具使用代理從企業系統收集事件日志，然后處理，過濾並將它們發送到SIEM。一些SIEM允許無代理數據收集。例如，Splunk使用WMI（Windows Manage Instrumentation，windows管理規范）在Windows中提供無代理數據收集。
-
策略 - 配置文件由SIEM管理員創建，該管理員在正常情況下和預定義的安全事件期間定義企業系統的行為。SIEM提供默認規則，警報，報告和儀表板，可以進行調整和自定義以滿足特定的安全需求。
-
數據整合和關聯 - SIEM解決方案整合，解析和分析日志文件。然后根據原始數據對事件進行分類，並應用將各個數據事件組合成有意義的安全問題的關聯規則。
-
通知 - 如果事件或事件集觸發SIEM規則，系統會通知安全人員
當軟件識別出可能對組織構成威脅的活動時，會生成警報以指示潛在的安全問題。可以使用一組預定義規則將這些警報設置為低優先級或高優先級。例如，如果用戶帳戶在20分鍾內生成20次失敗登錄嘗試，則可能會將其標記為可疑活動，但設置為較低優先級，因為它最有可能是忘記其登錄詳細信息的用戶。但是，如果帳戶在5分鍾內遇到120次登錄嘗試失敗，則更有可能是正在進行的暴力攻擊並被標記為高嚴重性事件。
四、日志管理流程
SIEM服務器的根源是日志管理平台。日志管理涉及收集數據，對其進行管理以啟用分析以及保留歷史數據。
哪些組織系統將其日志提供給SIEM？SIEM對哪些其他業務數據感興趣呢，下圖大致描繪了SIEM的數據源。
1、數據采集
SIEM從數百個組織系統收集日志和事件（有關部分列表，請參閱下面的日志源）。每次設備發生時，每個設備都會生成一個事件，並將事件收集到平面日志文件或數據庫中。SIEM可以通過四種方式收集數據：
-
通過安裝在設備上的代理（最常用的方法）
-
通過使用網絡協議或API調用直接連接到設備
-
通過直接從存儲訪問日志文件，通常采用Syslog格式
-
通過SNMP，Netflow或IPFIX等事件流協議
SIEM的任務是從設備中收集數據，對其進行標准化並將其保存為能夠進行分析的格式。下一代SIEM預先集成了通用雲系統和數據源，允許直接提取日志數據。
2、數據管理
在大型組織中，SIEM可以存儲大量數據。這些數據或存儲在本地或存儲在雲端，基於Amazon S3，Hadoop或ElasticSearch等技術實現數據的高效存儲和檢索。
3、記錄保留
PCI DSS，HIPAA和SOX等行業標准要求將日志保留1到7年，大型企業每天都會從IT系統中創建大量日志，SIEM需要了解他們保留哪些日志以滿足合規性和取證要求，SIEM使用以下策略來減少日志量：
Syslog服務器 - syslog是一種標准化日志的標准，僅保留標准格式的基本信息。Syslog允許您壓縮日志並保留大量歷史數據。
刪除計划 - SIEM會自動清除不再需要的舊日志，通過從Syslog格式訪問日志文件。
日志過濾 - 並非所有日志都是組織面臨的合規性要求或法醫目的所需的。可以按源系統，時間或SIEM管理員定義的其他規則過濾日志。
匯總 - log數據可以匯總為僅維護重要的數據元素，例如事件計數，唯一IP等。
歷史日志不僅對合規性和取證有用，還可用於深度行為分析。如用戶行為分析（UEBA）技術，該技術使用機器學習和行為分析來智能地識別異常或趨勢。
下一代SIEM利用低成本的分布式存儲，允許組織保留完整的源數據。這樣可以對歷史數據進行深入的行為分析，以捕獲更廣泛的異常和安全問題。
六、SOAR的介入
1、概念
SOAR（security orchestration, automation and response，安全編排自動化響應）
安全編排自動化響應（SOAR，Security Orchestration and Automation Response）是Gartner 2018年在安全領域定義的最新前沿技術，與UEBA、EDR等側重於威脅識別發現的技術不同，SOAR集中在識別后的威脅處理，強調用戶可以通過事件編排以編碼實現任意的威脅處理邏輯。
2、作用
大部分傳統安全廠商只關注識別，忽略了處理，支持簡單的阻斷/通知/放行的處理方式，另一方面，企業對於威脅的處理又有復雜的邏輯編排需求，希望通過和已有的安全產品聯動起來，形成威脅處理的閉環。SIEM雖然可以對可疑行為發出警報，但真正的目標是盡可能快速有效地對可疑行為采取行動。SOAR整合數據源，使用威脅情報源提供的信息，並自動響應以提高效率和效果。SIEM可以“說”某些東西，但那些包含SOAR的東西可以“做”某些東西。
SOAR通過更豐富，更高質量的數據和日常安全任務的自動化的聚合和關聯，幫助組織增強威脅檢測和響應。SOAR影響SIEM的另一個關鍵方法是幫助標准化事件分析和響應程序。這里的目標是部分或完全自動化一系列活動，以便安全人員有更多時間來尋找威脅而不是響應威脅。通過自動執行響應操作，例如阻止防火牆或入侵檢測系統上的IP地址，暫停用戶帳戶或將受感染的端點與網絡隔離，SOAR可以幫助促進更快的事件響應，從而減少潛在的破壞和破壞原因。
最后
購買和運行SIEM產品的復雜性和成本，以及其他安全分析技術的出現，引起了人們對收集和分析事件數據以識別和響應高級攻擊的替代方法的興趣。Elasticsearch，Logstash和Kibana（又名ELK堆棧或Elastic Stack）的組合就是一個很好的例子。還出現了替代基礎廣泛的SIEM解決方案的替代方案，這些解決方案主要集中在日志收集和安全分析元素上。在這個領域競爭的廠商包括Elastic，Cybraics，Empow，Elysium，Jask（由Sumo Logic收購），MistNet，PatternEx，Qomplx，Rank Software和Seceon。
與商業技術相比，擁有足夠資源來部署和管理這些資源以及開發和維護分析的組織，也許能夠獲得一種滿足其需求的解決方案，從而以更低的成本獲得解決方案。然而，對研發和安全能力不足的客戶來說，盡管這些軟件是免費的，但為這些解決方案進行規模化設計所涉及的工作量以及支持所需事件源和分析所需的開發工作仍然是巨大的，從投入產出比來說，有可能購買商業版解決方案或許是更好的選擇。
參考
https://www.gartner.com/doc/reprints?id=1-1YEDHXVD&ct=200219&st=sb
https://mp.weixin.qq.com/s/PZ7ofQqHsFyQ7JBr3sAkCg
https://mp.weixin.qq.com/s/RXUw6wZ6UIusiUWz0Ccsrw