Rsyslog+ELK日志分析系統搭建總結1.0(測試環境)


  因為工作需求,最近在搭建日志分析系統,這里主要搭建的是系統日志分析系統,即rsyslog+elk。

  因為目前仍為測試環境,這里說一下搭建的基礎架構,后期上生產線再來更新最后的架構圖,大佬們如果有什么見解歡迎指導。

這里主要總結一下搭建過程。

一.rsyslog

  rsyslog是如今大多數linux自帶的日志收集,這里主要說一下rsyslog的簡單配置。

  client端配置它只需要更改准備發送的日志以及在末尾加上Server端使用的協議和IP即可,例如:

#加入以下即可
*.* @10.144.100.32:514

二.logstash配置

  logstash只需要將rsyslog收集起來並轉發至elasticsearch即可,配置如下:

vi /etc/logstash.conf
input{
    syslog{
        type => "system-syslog"
        port => 514
    host => "10.144.100.32"
    }
}

filter {
    date {
        match => [ "timestamp", "yyyy-MM-dd-HH:mm:ss" ]
        locale => "cn"
  }

}

output{
 elasticsearch {
        hosts => ["10.24.180.19:9200"]
    user => "elastic"
    password=> "123456"
        index => "blockchain-%{type}-%{+YYYY.MM.dd}"
    codec => "json"
    }
stdout { codec => json }
}
cd logstash-5.5.1/bin/
./logstash -f /etc/logstash.conf

三.Elasticsearch搭建

   elasticsearch搭建起來比較簡單,直接在https://www.elastic.co/downloads/elasticsearch下載elasticsearch壓縮包,解壓下來。  

cd elasticsearch-5.5.1/bin/
./elasticsearch &

  本地瀏覽器訪問http://localhost:9200

  注意:安裝elasticsearch盡量先改一下內核參數和資源參數,我在阿里雲上搭建的,默認的內核參數和資源參數可能會導致啟動失敗。

vim /etc/sysctl.conf
#修改或添加以下參數
fs.file-max=65536
vm.max_map_count = 262144

vim /etc/security/limits.conf
#修改或添加以下參數
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

  elasticsearch有幾個比較推薦的插件,這里介紹一下head插件安裝,並通過head插件介紹一下elasticsrach的一些基本概念。

  首先介紹一下head的安裝,ES5.0之前head插件是直接可以通過elasticsearch-plugin install安裝,5.0之后不可以直接插件安裝,但依然是可以安裝使用的。

  這里簡單介紹下安裝過程。

  首先,設置下ES同源訪問策略:

vim elasticsearch-5.5.0/conf/elasticsearch.yml
#在末尾添加如下內容:
http.cors.enabled: true
http.cors.allow-origin: "*"

  然后,通過npm進行安裝:

git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install
npm run start

  當然,elasticsearch如果直接暴露在外網上是非常危險的,這里安裝一款x-pack插件,可將此端口設置賬戶密碼。

cd elasticsearch-5.5.0/bin/
./ealsticseearch-plugin intsall x-pack

  安裝完x-pack后,直接訪問9200端口會提示輸入賬號和密碼,這增加了elasticsearch的一些安全性,默認的賬號密碼是elastic:changeme,更改賬號密碼課通過調用restful

API

curl -XPUT -u elastic 'localhost:9200/_xpack/security/user/elastic/_password' -d '{
  "password" : "elastic"
}'

四.Kibana搭建

  kibana是配合Elasticsearch一起使用的可視化分析平台,說白了就是更形象的表示Elasticsearch的結果。

vim kibana/config/kibana.yml
server.port: 5601
server.host: 0.0.0.0
elasticsearch.url: "http://localhost:9200"
elasticsearch.username: "elastic"
elasticsearch.password: "changeme"

  本地瀏覽器輸入localhost:5601即可


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM