Centos7安裝moloch步驟

Moloch 是一個由AOL開源的，能夠大規模的捕獲IPv4數據包(PCAP)、索引和數據庫系統，由以下三個部分組成：

• capture ：綁定interface運行的單線程C語言應用
• viewer ：  運行在capture主機上的node.js web應用
• elasticsearch : moloch的數據檢索驅動

         Capture （綁定 interface 運行的單線程 C 語言應用 ）用來抓取流量並以 pcap 的格式存儲到硬盤上面，還會存一份對應關系到 elasticsearch （moloch 的數據檢索驅動）中，Viewer（運行在 capture 主機上的 node.js web應用 ） 提供 web 界面，以下為 Moloch 的單個主機部署架構圖。

Moloch優勢：

• 1 moloch 公開了API ，允許 pcap 數據和 json 格式的會話數據直接下載和使用。
• 2 提供直觀的Web界面，用於 PCAP 瀏覽、搜索、分析，Moloch 以標准 PCAP 格式存儲和導出所有數據包。
• 3 可擴展性：Moloch 旨在部署在多個集群系統中，提供擴展可以處理多個千兆位/秒的流量。PCAP保留基於可用的傳感器磁盤空間，而元數據保留基於 Elasticsearch 集群的規模。 兩種保留大小都可以隨時增加。
• 4 安全： 通過使用具有摘要密碼的 HTTPS 或使用提供 Web 服務器代理的身份驗證來保護對 Moloch 的訪問。 PCAP 都存儲在已安裝的 Moloch 傳感器上，只能通過 Moloch 接口或API訪問。 Moloch 支持在靜止時加密 PCAP 文件。
•  簡而言之： Moloch 可以保存所有原始數據流量，基於 elasticsearch 及 PCAP 的存儲形式使它得以對通信數據流中的元數據進行快速檢索。相對來說是一個比較好用的回溯分析系統。

 Moloch官網      Moloch git地址 git主頁上REDE有較為詳細的安裝說明。。。 以下是我的安裝記錄：

1.  系統要求和環境搭建

• 存儲數據包對機器的性能要求moloch提供了評估頁面 Moloch Estimators
• 本次搭建條件16G  內存，300GB HDD，所有組件都安裝在了同一台機器。如果有條件的話，請把Capture Machines和Elasticsearch Machines組件分開來安裝。

 

可根據 PCAP 包的存儲天數、TLS (加密數據包保存的百分比)、每台機器的處理能力；ES 日志的存儲天數、機器節點等選擇適合自己的硬件資源。Moloch 的每個節點需要 64GB - 128GB 內存：ES 為 30GB，OS 磁盤緩存為 34-96GB。對於大型計算機，計划為每個主機運行多個節點。

2.  安裝步驟

2.1 安裝依賴包

yum install -y wget curl perl-JSON  perl-libwww-perl libyaml-devel

2.2 關閉並禁止重啟后啟動防火牆

systemctl stop firewalld.service    ===>關閉防火牆
systemctl disable firewalld.service  ===>禁止重啟后啟動防火牆

2.3 下載及安裝JDK

wget http://iso.epoint.com.cn/JDK/jdk-8u65-linux-x64.rpm
rpm -ivh jdk-8u65-linux-x64.rpm  ##安裝jdk

2.4 下載及安裝elasticsearch

2.4.1 安裝elasticsearch

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.6.rpm  ##下載elasticsearch
rpm -ivh elasticsearch-5.6.6.rpm  ##安裝elasticsearch

2.4.2 修改配置文件/etc/elasticsearch/elasticsearch.yml 中的network.host：服務器的IP

 

2.4.3 啟動elasticsearch 服務

systemctl daemon-reload     ##重載修改過的配置文件
systemctl enable elasticsearch.service    ##開機啟動elasticsearch
systemctl start  elasticsearch.service    ##啟動elasticsearch

2.4.4 監聽服務端口是否已經啟動　　

netstat -nlp |grep LISTEN 

 2.4.5 檢查elasticsearch是否正常啟動

 在瀏覽器中測試，輸入http://服務器IP:9200/_cat ，查看是否能正常看到類似如下頁面即為正常。

 2.5 下載及安裝Moloch

 2.5.1 https://molo.ch/#downloads官網下載rpm包

 2.5.2  安裝moloch rpm包（采用U盤掛載方式）

rpm -ivh moloch-1.8.0-1.x86_64.rpm

 

 

2.5.3 配置初始化Moloch

/data/moloch/bin/Configure

2.5.4 初始化、升級 Elasticsearch Moloch配置

/data/moloch/db/db.pl  http://localhost:9200  init    ##第一次安裝初始化、或者想刪除所有數據
/data/moloch/db/db.pl  http://localhost:9200 upgrade  ##升級moloch 數據包

 

2.5.5 添加admin賬戶

/data/moloch/bin/moloch_add_user.sh admin "Admin User" moloch --admin  ##新增admin賬戶，密碼是moloch

2.5.6 開啟所有服務

systemctl enable molochcapture.service ##開機啟動Capture
systemctl start molochcapture.service  ##啟動Capture
systemctl enable molochviewer.service  ##開機啟動Viewer
systemctl start molochviewer.service   ##啟動Viewer

 2.5.7 登陸Moloch  http://172.18.20.223:8005

...