一、graylog公司基建了解
1. es版本:2.3.1
graylog版本:2.4.2
mongodb版本:3.2.6
2. 機器:es一個機房用了12台物理機32核機械盤
二、elasticsearch 安裝、部署
1.1 下載
進入要下載的版本的目錄,選擇.tar.gz文件下載,至當前時間graylog不支持最新6.x版本,所以下載5.x版本
下載到/home/admin/目錄下
或者下載本地上傳到服務器:
scp -r elasticsearch-5.6.8.tar.gz tdops@10.58.10.139:/home/tdops/graylog/elasticsearch
1.2 安裝
在/home/admin/graylog 下新建elasticsearch主目錄,並解壓到當前目錄
mkdir elasticsearch
mv elasticsearch-5.6.8.tar.gz elasticsearch/
cd elasticsearch
tar -zxvf elasticsearch-5.6.8.tar.gz
1.3 配置
在主目錄下創建data和logs兩個目錄用於存儲數據和日志:
mkdir data
mkdir logs
修改elasticsearch配置文件 elasticsearch-5.6.8/config/elasticsearch.yml
cluster.name: my-application #集群名字
node.name: node-1 #集群中每個節點名字,每個節點必須不同
path.data: /home/admin/graylog/elasticsearch/data #設置es數據存儲地址
path.logs: /home/admin/graylog/elasticsearch/logs #設置es日志存儲地址
network.host: 0.0.0.0 #開放es的訪問ip限制
discovery.zen.ping.unicast.hosts: ["10.57.30.1","10.57.30.2"] #集群中各個節點的ip
discovery.zen.minimum_master_nodes: 2 #集群中最低健康節點數量
1.4 啟動和停止
啟動:./bin/elasticsearch -d(后台啟動)
停止:ps -aux | grep elsaticsearch
或者 jps | grep Elasticsearch #找到pid
kill pid #根據pid 殺死進程
二、mongodb 安裝、部署
2.1 下載
進入要下載的版本的目錄,選擇.tar.gz文件下載
下載到/home/admin/目錄下
或本地上傳:
scp -r mongodb-linux-x86_64-rhel70-3.6.5.tgz admin@10.58.12.1:/home/tdops/mongodb
2.2 安裝
在/home/admin/graylog 下新建mongodb主目錄,並解壓到當前目錄
mkdir mongodb
mv mongodb-linux-x86_64-rhel70-3.6.5.tgz mongodb/
cd mongodb
tar -zxvf mongodb-linux-x86_64-rhel70-3.6.5.tgz
2.3 配置
在主目錄下創建data目錄用於存儲數據:
mkdir data
1.4 啟動和停止
啟動:nohup ./mongod --dbpath=/home/admin/graylog/mongodb/data >> mongodb.log 2>&1 &
停止:ps -aux | grep mongodb #找到pid
kill pid #根據pid 殺死進程
驗證是否啟動:
curl localhost:27017
示例
nohup ./mongod --dbpath=/home/tdops/mongodb/data >> /home/tdops/mongodb/mongodb.log 2>&1 &
nohup ./mongod --dbpath=/home/tdops/mongodb/data >> /home/tdops/mongodb/mongodb.log --bind_ip=0.0.0.0 2>&1 & ##開放api接口ip訪問限制
三、graylog 安裝、部署
3.1 下載
進入要下載的版本的目錄,選擇.tar.gz文件下載
下載到/home/admin/目錄下
或本地上傳:
scp -r graylog-2.4.5.tgz admin@10.58.12.1:/home/tdops/graylog
3.2 安裝
在/home/admin/graylog/ 下新建graylog主目錄,並解壓到當前目錄
mkdir graylog
mv graylog-2.4.5.tgz graylog/
cd graylog
tar -zxvf graylog-2.4.5.tgz
2.3 配置
在主目錄下創建data目錄用於存儲數據:
graylog讀取的配置文件路徑為:/etc/graylog/server/server.conf,所以用root賬戶新建/etc/graylog文件夾,將該文件夾用戶改為admin.
sudo chown -R tdops server
cd /etc/graylog/server
vim node-id
chmod 777 server.conf 修改可讀寫權限
cp /home/admin/graylog/graylog/graylog-2.4.5/graylog.conf.example /etc/graylog/server/server.conf
#修改server.conf配置:
password_secret = adminadminadminadmin #設置登陸密碼
root_password_sha2 = b77f501a5e9697bd36fdc6581d4d1ad41a51855a7222f0b0ba17dac5ce0cbccf #算出密碼的sha2:echo -n adminadminadminadmin | shasum -a 256
rest_listen_uri = http://0.0.0.0:9000/api/ #開放api接口ip訪問限制
web_listen_uri = http://0.0.0.0:9000/ #開放web訪問ip限制
# mongodb_uri = mongodb://10.58.2.41:27017/graylog #與es不同機器部署的mongodb,需指定mongodb的IP與端口號
mongodb_uri = mongodb://localhost/graylog #與es部署在同一台機器上的配置,默認
1.4 啟動和停止
cd /home/admin/graylog/graylog/graylog-2.4.5/bin
啟動: ./graylogctl start
vim ../log/graylog-server.log #查看日志
停止:./graylogctl stop
四、graylog接入及使用
1、各應用的本地化配置文件作如下添加或修改:
graylog.host=10.57.30.103
graylog.port=8099
公司使用的是80端口所以logback.xml略去了
2、logbak.xml中需做修改:
五、graylog-api接入
graylog.api.url=http://10.57.30.1:9000/api
user=admin
password=adminadminadminadmin
六、網頁訪問
http://10.57.30.1:9000/search
admin
adminadminadminadmin
七、配置收集器
第一步:配置system/inputs
第二步:選擇GELF UDP——>lanch new input 彈出新建UDP的配置;
第三步:node選擇當前節點,title 任意名稱,port 端口號:12201,點擊save;
例2:配置收集器geft-http 端口12205;測試日志是否收集成功:配置GELF HTTP采集log
在終端輸入:curl -XPOST http://10.58.12.1:12205/gelf -p0 -d '{"short_message":"Hello there", "host":"example.org", "facility":"test", "_foo":"bar"}'
在搜索日志中搜索到即可表示成功。