日志審計系統設計

背景

    薩班斯(SOX)法案。在美國上市公司必須遵循的“薩班斯(SOX)法案” 中要求對企業內部網絡信息系統進行評估，其中涉及對業務系統操作、數據庫訪問等業務行為的審計。

日志審計模型

系統架構參考

四層模型

日志審計類別

1) HTTP 會話審計
從流量中還原 HTTP 會話數據，並根據會話特征進一步深度解析 HTTP BBS訪問、HTTP 網頁標題、HTTP 威脅情報、HTTP DGA 域名（DGA 域名庫、機器學習）、搜索關鍵詞及其他 HTTP 會話等，數據中至少包含請求方法、返回值、主機名、網頁地址、用戶代理、語言、服務器類型等數據。

                                以上Ngnix日志結構化示例

從結構化的視角看日志，可以從內在屬性和外在屬性着手。

內在屬性是從時間戳、字段、字段命名等日志內容本身所具備的信息內容的角度，對日志進行分析。

外在屬性是從來源、歸屬分類、資產信息等維度來分析。來源是指日志來自哪台主機、哪個 IP；歸屬分類是從日志的所屬系統及日志用途等方面看日志；日志的資產信息是指日志的負責人、負責人的聯系方式等相關信息，可以通過平台將日志與負責人進行關聯，以便事故發生后可以直接通知到相關負責人

2) DNS 會話審計
從流量中還原 DNS 會話數據，並根據會話特征進一步深度解析 DNS 威脅情報、DNS DGA 域名、DNS 解碼錯誤、DNS 解析錯誤、DNS 解析超時，數據中至少包含請求域名（FQDN）、DNS 服務器地址、DNS 服務器端口、請求返回解析地址等信息。

3）FTP 會話審計
從流量中還原 FTP 會話數據，數據中至少包含登錄用戶、傳輸文件名以及操作命令等信息。

3）Telnet 會話審計
從流量中還原 Telnet 會話數據，數據中至少包含登錄用戶以及操作命令的實際內容等信息。數據庫會話審計從流量中還原主流數據庫會話數據，如 Mysql、SQLServer、Oracle 等主流數據庫，數據中至少應包含登錄用戶名、操作命令（抓取 SQL 語句）等信息。

4）郵件會話審計
從流量中還原郵件會話數據，包括 POP3，SMTP、IMAP 協議，數據中至少包含收件人、發件人、主題、附件名稱等信息。

5）TLS 會話審計
從流量中還原 TLS 會話數據，主要針對 SSL/TLS 握手部分（非加密），數據中至少包含服務器及客戶端證書、服務器名稱等信息。

6）工控會話
從流量中還原應用協議為 IEC104、MMS、MODBUS、OPC、OPCUA、EthernetI IP 和 CIP 的工控會話，數據中包含工控會話的 MODBUS 的功能碼、功能描述，支持解析 IEC、EthernetI IP 和 CIP 的命令等信息。

7）其他會話審計
其他會話均通過可以通過組合條件查詢網絡會話支撐審計，網絡會話列表包含了全流量的會話還原留存，會話詳情將根據 SSH、SMBv1/v2、DCERPC 自動適配字段展現。

日志分析系統

       日志分析的關鍵環節主要集中在日志源識別、數據接入、數據結構化清洗、數據分析等環節。根據企業實際生產環境，日志數據分別有操作系統日志、網絡設備日志、中間件日志、數據庫日志、業務系統日志等類型。數據接入有 Agent、Syslog、SNMP 等方式。數據結構化涉及各種類型日志的清洗方式、字典擴展、正則解析、字段識別等內容，內容比較多，有一個標准化流程的話實施起來會相對容易。數據分析包括搜索、可視化，此外還要考慮監控、定時任務、報表等功能。在落地交付時，可以從業務維度，根據系統模塊進行數據接入，先調研部分業務系統要實現的分析效果，然后針對這些需求做相應的告警、分析。后續用戶還可接入更多的業務系統。也可以從功能維度做日志分析，即先調研所有系統要實現的分析目的，然后再做告警、分析。根據自身企業的需求選擇對應的交付方式。

---

今天先到這兒，希望對技術領導力， 企業管理，系統架構設計與評估，團隊管理, 項目管理, 產品管理,團隊建設 有參考作用 , 您可能感興趣的文章:
領導人怎樣帶領好團隊
構建創業公司突擊小團隊
國際化環境下系統架構演化
微服務架構設計
視頻直播平台的系統架構演化
微服務與Docker介紹
Docker與CI持續集成/CD
互聯網電商購物車架構演變案例
互聯網業務場景下消息隊列架構
互聯網高效研發團隊管理演進之一
消息系統架構設計演進
互聯網電商搜索架構演化之一
企業信息化與軟件工程的迷思
企業項目化管理介紹
軟件項目成功之要素
人際溝通風格介紹一
精益IT組織與分享式領導
學習型組織與企業
企業創新文化與等級觀念
組織目標與個人目標
初創公司人才招聘與管理
人才公司環境與企業文化
企業文化、團隊文化與知識共享
高效能的團隊建設
項目管理溝通計划
構建高效的研發與自動化運維
某大型電商雲平台實踐
互聯網數據庫架構設計思路
IT基礎架構規划方案一(網絡系統規划)
餐飲行業解決方案之客戶分析流程
餐飲行業解決方案之采購戰略制定與實施流程
餐飲行業解決方案之業務設計流程
供應鏈需求調研CheckList
企業應用之性能實時度量系統演變

如有想了解更多軟件設計與架構, 系統IT,企業信息化, 團隊管理 資訊，請關注我的微信訂閱號：

作者：Petter Liu
出處：http://www.cnblogs.com/wintersun/
本文版權歸作者和博客園共有，歡迎轉載，但未經作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文連接，否則保留追究法律責任的權利。 該文章也同時發布在我的獨立博客中-Petter Liu Blog。