大數據信息安全日志審計分析方法
1．海量數據采集。大數據采集過程的主要特點和挑戰是並發數高，因此采集數據量較大時，分析平台的接收性能也將面臨較大挑戰。大數據審計平台可采用大數據收集技術對各種類型的數據進行統一采集，使用一定的壓縮及加密算法，在保證用戶數據隱私性及完整性的前提下，可以進行帶寬控制。
2．數據預處理。在大數據環境下對采集到的海量數據進行有效分析，需要對各種數據進行分類，並按照一定的標准進行歸一化，且對數據進行一些簡單的清洗和預處理工作。對於海量數據的預處理，大數據審計平台采用新的技術架構，使用基於大數據集群的分布式計算框架，同時結合基於大數據集群的復雜事件處理流程作為實時規則分析引擎，從而能夠高效並行地運行多種規則，並能夠實時檢測異常事件。
3．統計及分析。按照數據分析的實時性，分為實時數據分析和離線數據分析。大數據平台在數據預處理時使用的分布式計算框架Storm就非常適合對海量數據進行實時的統計計算，並能夠快速反饋統計結果。Storm框架利用嚴格且高效的事件處理流程保證運算時數據的准確性，並提供多種實時統計接口以使用。
4．數據挖掘。數據挖掘是在沒有明確假設的前提下去挖掘信息、發現知識，所以它所得到的信息具有未知、有效、實用三個特征。與傳統統計及分析過程不同的是，大數據環境下的數據挖掘一般沒有預先設定好的主題，主要是在現有數據上面進行基於各種算法的計算，從而起到預測的效果，並進一步實現一些高級別數據分析的需求。
大數據分析信息安全日志的解決方案
統一日志審計與安全大數據分析平台能夠實時不間斷地將用戶網絡中來自不同廠商的安全設備、網絡設備、主機、操作系統、數據庫系統、用戶業務系統的日志和警報等信息匯集到管理中心，實現全網綜合安全審計；同時借助大數據分析和挖掘技術，通過各種攻擊模型場景發現各種網絡攻擊行為、用戶異常訪問和操作行為。
1．系統平台架構。以國內某大數據安全分析系統為例，其架構包括大數據采集平台、未知威脅感知系統、分布式實時計算系統(Storm)、復雜事件處理引擎(Esper)、Hadoop平台、分布式文件系統(HDFS)、分布式列數據庫(Hbase)、分布式並行計算框架(Map／Reduce、Spark)、數據倉庫(Hive)、分布式全文搜索引擎(ElasticSearch)、科學計算系統(Euler)。這些技術能夠解決用戶對海量事件的采集、處理、分析、挖掘和存儲的需求。
如圖1所示，系統能夠實時地對采集到的不同類型的信息進行歸一化和實時關聯分析，通過統一的控制台界面進行實時、可視化的呈現，協助安全管理人員迅速准確地識別安全事件，提高工作效率。
圖1 解決方案平台架構及其組件
2．實現功能。系統能夠實現的功能包括：審計范圍覆蓋網絡環境中的全部網絡設備、安全設備、服務器、數據庫、中間件、應用系統，覆蓋200多種設備和應用中的上萬類日志，快速支持用戶業務系統日志審計；系統收集企業和組織中的所有安全日志和告警信息，通過歸一化和智能日志關聯分析引擎，協助用戶准確、快速地識別安全事故；通過系統的安全事件攻擊並及時做出安全響應操作，為用戶的網絡環境安全提供保障；通過已經審計到的各種審計對象日志，重建一段時間內可疑的攻擊事件序列，分析攻擊路徑，幫助安全分析人員快速發現攻擊源；整個Hadoop的體系結構主要通過分布式文件系統(HDFS)來實現對分布式存儲的底層支持。
圖2描述了統一日志審計系統的可擴展性部署，其部署方式十分靈活，對網絡的適應性極強，既能夠支持集中式的部署方式，也支持跨區域、分級分層、物理／邏輯隔離的大規模網絡的部署方式，是可水平擴展的海量事件采集、存儲、分析平台。
圖2 統一日志審計系統的可擴展性部署
3．應用場景。上述系統可解決傳統日志審計無法實現的日志關聯分析和智能定位功能。如在企業的網絡系統中，大范圍分布的網絡設備、安全設備、服務器等實時產生的日志量非常大，要從其中提取想要的信息非常困難，而要從設備之間的關聯來判斷設備故障也將是一大難點。例如，某企業定位某設備與周圍直連設備的日志消息相關聯起來判斷該設備是否存在異常或故障，如對於其中一台核心交換機SW1，與之直連的所有設備如果相繼報接口down的日志，則可定位該設備SWl為故障設備，此時應及時做出響應。而傳統數據難以通過周圍設備的關聯告警來定位該故障，大數據審計平台則是最好的解決方法。
大數據分析方法可以利用實體關聯分析、地理空間分析和數據統計分析等技術來分析實體之間的關系，並利用相關的結構化和非結構化的信息來檢測非法活動。對於集中存儲起來的海量信息，可以讓審計人員借助歷史分析工具對日志進行深度挖掘、調查取證、證據保全。
摘自：http://www.cfc365.com/technology/security/2016-06-28/13893.shtml