網絡流量收集與分析/回溯分析系統
2019/10/14 Chenxin
Moloch
2019/10/14 Chenxin
參考
https://github.com/aol/moloch 官網
https://cloud.tencent.com/developer/article/1404875 非官方手冊,功能使用截圖展示
簡介
Moloch
Moloch is a large scale, open source, indexed packet capture and search system.
談及 Moloch, 想必大家都知道” moloch 是一個開源的、大規模的 IPv4 數據包捕獲（PCAP），索引數據庫系統。“ 它以標准 pcap 格式存儲和索引網絡流量提供快速的索引訪問，從而減少可疑事件的分析時間。
收集所有網絡流量信息,存儲,分析,圖標展示.有點類似sniffer的統計預覽功能.
存儲的PCAP文件,進行分析,圖形化展示源於目的的訪問關系.展示流量圖等.
節選:在工作中，我使用的是國內某家公司的全流量分析系統，相比之下，我認為 Moloch 作為一款開源系統，其對流量數據的解析功能非常強大，可以花式構造過濾語句。但畢竟以流量為主，不具備基於行為或特征之類的常見檢測機制，如果需要，可以配合 Snort、Bro、Suricata 等檢測系統。（Moloch 可將 Suricata作為插件結合，有興趣的朋友可以試試）
流量回溯系統通常都會面臨這樣幾個問題：
1、數據包的存取和協議的分析；
2、數據量很大的時候檢索的速度。
我們設想一下使用 tshark 、Wireshark 對一個 幾十 GB 的數據包進行分析時，包的加載都會是一個很頭疼的問題，更不用說過濾表達式的應用。而 Moloch 在這方面就具備了獨特的優勢
科來
類似的其他方案(商業,提供免費試用).
http://www.colasoft.com.cn/ 科來網絡分析系統(網絡回溯).研發中心-成都.
科來作為全球領先的網絡流量分析企業，專注與“網絡數據分析”、“高級木馬研究”、“數據安全取證”等方面的研究。
科來網絡分析系統是一款專業的通過抓取網絡數據包進行網絡檢測，網絡協議分析工具，可實時監測網絡傳輸數據，全面透視整個網絡的動態信息。除了能實時檢測每台電腦的上網情況，郵件收發情況，網絡登錄情況，網絡流量外，還具有強大的數據包解碼分析功能，可診斷網絡故障，定位網絡瓶頸，檢測網絡安全隱患。
PB量級數據秒級回溯分析,基於元數據的大數據分析技術.
下載
http://www.colasoft.com.cn/download/capsa.php 下載中心->技術交流版 下載.無需注冊，無需激活，免費使用.(Windows版本).
安裝部署
https://github.com/aol/moloch 官網
數據的來源是交換機的鏡像端口，moloch 系統主要涉及三個組件 Capture，elasticsearch 和 Viewer .
Capture （綁定 interface 運行的單線程 C 語言應用 ）用來抓取流量並以 pcap 的格式存儲到硬盤上面，還會存一份對應關系到 elasticsearch （moloch 的數據檢索驅動）中，Viewer（運行在 capture 主機上的 node.js web應用 ） 提供 web 界面，以下為 Moloch 的單個主機部署架構圖。
使用說明
https://github.com/aol/moloch 官網
可以通過頁面展示里,輸入3389過濾條件(win遠程端口),展示有哪些機器訪問了哪些機器的3389端口.並以圖片方式形象的方式展示出來.
具體略.