文檔:https://docs.graylog.org/en/3.0/
Graylog Sidecar是一個輕量級配置管理系統,適用於不同的日志收集器,也稱為后端。Graylog節點充當包含日志收集器配置的集中式集線器。在支持的消息生成設備/主機上,Sidecar可以作為服務(Windows主機)或守護程序(Linux主機)運行。進行在不同機器上進行日志的采集並發送到graylog server
在graylog3.0版本以前,稱為Graylog Collector Sidecar,在3.0中改為了Graylog Sidecar,在官方文檔中有詳細安裝指導:官方文檔入口。這里也參考進行安裝。版本對照表如下,首先去github上下載相應的rpm安裝包。官方GITHUB下載地址
Sidecar version Graylog server version
使用Graylog對日志進行采集操作
1.添加Beats類型的Input
1)在System/Input中選擇Input類型,Beats
2)設置Global, 綁定的地址是0.0.0.0 開放的端口是5044 !!! 注意一定要對外開啟這個端口,否則會導致無法將日志上傳到Graylog服務上
在彈框中編輯這個 Input 的配置: Title: Input 的標題。這個可以隨便寫,稍后可以改。 Bind Address: 是否固定監聽 IP。比如寫成本機內網 IP,或者一個域名,默認 0.0.0.0 代表不固定。如果你網絡環境復雜——比如同時從內網公網收集日志的情況下,建議不要 bind,稍后可以改。 Port: 監聽哪個端口。也就是 Inputs 開放哪個端口用於接收 Sidecar 的日志推送,稍后可以改。 Recive Buffer Size: 最大允許的接收器緩存大小。相當於一次超過這個數值的日志包推過來會失效,通常來說基本摸不到這個極限,單位 Byte,默認1048576,也就是 1MB,稍后可以改。 No. of worker threads: 這個用於指定有多少個線程在處理日志接收。超大並發量的可以酌情調整,稍后可以改。 [ ] Do not add Beats type as prefix: 這個很重要,一定要打鈎,稍后會講到。 點擊 Save 就可以保存 Input 了。以后我們很少會再調到這個配置。 你可以建立多個 Input,不同之間的區別由端口控制。
2.創建graylog-sidecar的token
復制token
3.在LInux主機上安裝sidecar客戶端和filebeat
a)兩種安裝方式:
方法一:使用Graylog sidecar存儲庫配置后yum進行安裝
rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-sidecar-repository-1-2.noarch.rpm yum install graylog-sidecar
方法二:cpi -ivh 方式本地安裝 https://github.com/Graylog2/collector-sidecar/releases
wget https://github.com/Graylog2/collector-sidecar/releases/download/1.0.2/graylog-sidecar-1.0.2-1.x86_64.rpm rpm -i graylog-sidecar-1.0.2-1.x86_64.rpm
修改配置文件:
vi /etc/graylog/sidecar/sidecar.yml 1)#server_url: "http://127.0.0.1:9000/api/" 修改為http://192.168.31.80:9000/api/ 2)server_api_token: "bavcp8u7sanaottr2lllg2ebogsn6brfgnifa76vm3ec8n64k50" 3)#node_name: ""改為node_name: "192.168.31.194_CentOS7" 4)取消#update_interval: 10的注釋update_interval: 10 5)取消#send_status: true 的注釋send_status: true
加入啟動服務並啟動:
graylog-sidecar -service install
systemctl start graylog-sidecar
這時候在sidecar總覽界面可以看到已經在線
b)filebeat安裝
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.0-x86_64.rpm rpm -i filebeat-6.6.0-x86_64.rpm
4.配置采集規則
1)在Sidecar Overview界面點擊Configuration
2)點擊Create Configuration創建配置
Name自定義為CentOS7_collector_cfg Configuration color挑選一個顏色 Collector選擇為filebeat on Linux類型 Configuration配置文件修改 例如 paths: - /opt/nginx/*.log 也就是采集/opt/nginx/目錄下.log結尾的日志 output.logstash: hosts: ["192.168.31.80:5044"] 發給192.168.31.80的5044端口,也就是之前創建的beats 5044接收端口
3)配置完成之后, 點擊create保存配置
5.下發配置文件
先回到Sidecar Overview界面, 點擊Administration管理按鈕, 進行配置下發
1)選擇采集器,勾選filebeat
2)點擊configure, 選擇之前創建的配置文件, 進行配置應用下發
6.驗證日志采集是否生效
在Sidecars Overview 點擊show messages 查詢對應日志 如果存在則證明成功
參考:
- https://blog.csdn.net/weixin_41004350/article/details/87253316
- https://cloud.tencent.com/developer/article/1666521
- https://blog.51cto.com/u_11555417/2353375
- https://mp.weixin.qq.com/s/LP5JuIpWy3JK9rnE-6OCSQ
- https://mp.weixin.qq.com/s/Pqj6Og4JXyD9EPjhU9GeWQ