基於graylog、elasticsearch和mongodb搭建一套日志管理系統


一、graylog公司基建了解

1. es版本:2.3.1
     graylog版本:2.4.2 
    mongodb版本:3.2.6
2. 機器:es一個機房用了12台物理機32核機械盤
二、elasticsearch 安裝、部署

1.1 下載

進入要下載的版本的目錄,選擇.tar.gz文件下載,至當前時間graylog不支持最新6.x版本,所以下載5.x版本
下載到/home/admin/目錄下
或者下載本地上傳到服務器:
scp -r  elasticsearch-5.6.8.tar.gz  tdops@10.58.10.139:/home/tdops/graylog/elasticsearch

1.2 安裝

在/home/admin/graylog 下新建elasticsearch主目錄,並解壓到當前目錄

 
mkdir elasticsearch
mv elasticsearch-5.6.8.tar.gz elasticsearch/
cd elasticsearch
tar -zxvf elasticsearch-5.6.8.tar.gz

1.3 配置

在主目錄下創建data和logs兩個目錄用於存儲數據和日志:
mkdir data
mkdir logs
修改elasticsearch配置文件 elasticsearch-5.6.8/config/elasticsearch.yml
cluster.name: my-application #集群名字
node.name: node-1 #集群中每個節點名字,每個節點必須不同
path.data: /home/admin/graylog/elasticsearch/data #設置es數據存儲地址
path.logs: /home/admin/graylog/elasticsearch/logs #設置es日志存儲地址
network.host: 0.0.0.0 #開放es的訪問ip限制
discovery.zen.ping.unicast.hosts: ["10.57.30.1","10.57.30.2"] #集群中各個節點的ip
discovery.zen.minimum_master_nodes: 2 #集群中最低健康節點數量

1.4 啟動和停止

啟動:./bin/elasticsearch -d(后台啟動)
停止:ps -aux | grep elsaticsearch
或者  jps | grep Elasticsearch    #找到pid
     kill pid #根據pid 殺死進程
 

二、mongodb 安裝、部署

2.1 下載

進入要下載的版本的目錄,選擇.tar.gz文件下載
下載到/home/admin/目錄下
或本地上傳:
scp -r mongodb-linux-x86_64-rhel70-3.6.5.tgz admin@10.58.12.1:/home/tdops/mongodb

2.2 安裝

在/home/admin/graylog 下新建mongodb主目錄,並解壓到當前目錄
mkdir mongodb
mv mongodb-linux-x86_64-rhel70-3.6.5.tgz mongodb/
cd mongodb
tar -zxvf mongodb-linux-x86_64-rhel70-3.6.5.tgz
2.3 配置
在主目錄下創建data目錄用於存儲數據:
mkdir data

1.4 啟動和停止

啟動:nohup ./mongod --dbpath=/home/admin/graylog/mongodb/data >> mongodb.log 2>&1 &
 
停止:ps -aux | grep mongodb #找到pid
     kill pid #根據pid 殺死進程
  
驗證是否啟動:
curl localhost:27017
示例
nohup ./mongod --dbpath=/home/tdops/mongodb/data >> /home/tdops/mongodb/mongodb.log 2>&1 &
nohup ./mongod --dbpath=/home/tdops/mongodb/data >> /home/tdops/mongodb/mongodb.log --bind_ip=0.0.0.0 2>&1 &  ##開放api接口ip訪問限制
 

三、graylog 安裝、部署

3.1 下載

進入要下載的版本的目錄,選擇.tar.gz文件下載
下載到/home/admin/目錄下
或本地上傳:
scp -r graylog-2.4.5.tgz admin@10.58.12.1:/home/tdops/graylog 

3.2 安裝

在/home/admin/graylog/ 下新建graylog主目錄,並解壓到當前目錄
 
mkdir graylog
mv graylog-2.4.5.tgz graylog/
cd graylog
tar -zxvf graylog-2.4.5.tgz
 

2.3 配置

在主目錄下創建data目錄用於存儲數據:
graylog讀取的配置文件路徑為:/etc/graylog/server/server.conf,所以用root賬戶新建/etc/graylog文件夾,將該文件夾用戶改為admin.
sudo chown -R tdops server
cd /etc/graylog/server
vim node-id
chmod 777 server.conf 修改可讀寫權限
cp /home/admin/graylog/graylog/graylog-2.4.5/graylog.conf.example /etc/graylog/server/server.conf
 
#修改server.conf配置:
password_secret = adminadminadminadmin #設置登陸密碼
root_password_sha2 = b77f501a5e9697bd36fdc6581d4d1ad41a51855a7222f0b0ba17dac5ce0cbccf #算出密碼的sha2:echo -n adminadminadminadmin | shasum -a 256
rest_listen_uri = http://0.0.0.0:9000/api/ #開放api接口ip訪問限制
web_listen_uri = http://0.0.0.0:9000/ #開放web訪問ip限制
  
# mongodb_uri = mongodb://10.58.2.41:27017/graylog #與es不同機器部署的mongodb,需指定mongodb的IP與端口號
mongodb_uri = mongodb://localhost/graylog #與es部署在同一台機器上的配置,默認

1.4 啟動和停止

cd /home/admin/graylog/graylog/graylog-2.4.5/bin
 
啟動: ./graylogctl start
     vim ../log/graylog-server.log #查看日志
停止:./graylogctl stop
 

四、graylog接入及使用

1、各應用的本地化配置文件作如下添加或修改:
graylog.host=10.57.30.103
graylog.port=8099
公司使用的是80端口所以logback.xml略去了
2、logbak.xml中需做修改:

五、graylog-api接入

graylog.api.url=http://10.57.30.1:9000/api
user=admin
password=adminadminadminadmin

 六、網頁訪問

http://10.57.30.1:9000/search
admin
adminadminadminadmin
 

七、配置收集器

第一步:配置system/inputs
第二步:選擇GELF UDP——>lanch new input 彈出新建UDP的配置;
第三步:node選擇當前節點,title 任意名稱,port 端口號:12201,點擊save;
 
例2:配置收集器geft-http 端口12205;測試日志是否收集成功:配置GELF HTTP采集log
在終端輸入:curl -XPOST http://10.58.12.1:12205/gelf  -p0 -d '{"short_message":"Hello there", "host":"example.org", "facility":"test", "_foo":"bar"}'
在搜索日志中搜索到即可表示成功。
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM