Windows下ELK-5.4.3環境搭建
一、概述
ELK官網 https://www.elastic.co
ELK由Elasticsearch、Logstash和Kibana三部分組件組成;
Elasticsearch是個開源分布式搜索引擎,它的特點有:分布式,零配置,自動發現,索引自動分片,索引副本機制,restful風格接口,多數據源,自動搜索負載等。
Logstash是一個完全開源的工具,它可以對你的日志進行收集、分析,並將其存儲供以后使用
kibana 是一個開源和免費的工具,它可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以幫助您匯總、分析和搜索重要數據日志。
常見平台架構
ELK = Elasticsearch + Logstash + Kibana
EFK = Elasticsearch + Flume + Kibana
簡單架構:
ELK+Redis
或
(Logstash/Flume)->(Kafka/Redis)->ES->Web
可更簡單些:
Client(Filebeat) --> LogServer(Logstash-->Elasticsearch-->Kibana )
(可以不用Logstash,Filebeat直接輸出到ES)
復雜架構:
數據采集層[離線/實時數據,MySQL/ES/Logstash/Flume]
->數據傳輸層[Kafka/Redis]
->數據緩存層[Storm->Kafka]
->計算存儲層[離線計算(Kylin/Spark SQL/Impala/MR)、實時計算(Storm/Spark Streaming/Flink/Druid)、存儲(ES/MySQL/Hbase/HDFS/Kudu)]
->應用層[Web/REST API]
二、下載安裝ELK
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.3.tar.gz --no-check-certificate
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.4.3.tar.gz --no-check-certificate
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.3-windows-x86.zip --no-check-certificate
注意需要jdk8環境
三、修改配置
3.1.編輯ES配置文件:
// E:/elk/elasticsearch-5.4.3/config/elasticsearch.yml
network.host:192.168.1.106
http.port: 9200
3.2.新建Logstash日志分析配置文件:
// E:\elk\logstash-5.4.3\config\logstash.conf
input {
file {
type => "nginx_access"
path => "D:\nginx\logs\access.log"
}
}
output {
elasticsearch {
hosts => ["192.168.1.106:9200"]
index => "access-%{+YYYY.MM.dd}"
}
stdout {
codec => json_lines
}
}
3.3.編輯Kibana配置文件:
// E:/elk/kibana-5.4.3-windows-x86/config/kibana.yml
server.port: 5601
server.host: 192.168.1.106
elasticsearch.url: "http://192.168.1.106:9200"
四、啟動
//啟動ES
elasticsearch.bat
//啟動Logstash
logstash.bat -f ../config/logstash.conf
//啟動kibana
kibana.bat
五、驗證
curl -XGET http://192.168.1.106:9200/
curl -XGET "http://192.168.1.106:9200/_search" -H 'Content-Type: application/json' -d'{"query": {"match_all": {}}}'
或瀏覽器分別訪問
es: http://192.168.1.106:9200/
kibana: http://192.168.1.106:5601/
六、ES支持中文查詢
elasticsearch-analysis-ik下載地址:
https://github.com/medcl/elasticsearch-analysis-ik/releases
下載elasticsearch-analysis-ik-5.4.3.zip解壓到 elasticsearch-5.4.3\plugins\ik目錄下
然后重啟elasticsearch
驗證
```shell
GET _search
{
"query": {
"match": {
"message": "中華"
}
}
}
七、elasticsearch-head安裝
elasticsearch-head是一個用於管理Elasticsearch的web前端插件
https://github.com/mobz/elasticsearch-head
運行環境准備NodeJS,Grunt
npm install -g grunt-cli
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install
7.1 修改elasticsearch.yml,增加跨域的配置(需要重啟es才能生效)
http.cors.enabled: true
http.cors.allow-origin: "*"
7.2 編輯elasticsearch-head/Gruntfile.js,修改服務器監聽地址,connect節點增加hostname屬性,將其值設置為*
connect: {
server: {
options: {
hostname:'*',
port: 9100,
base: '.',
keepalive: true
}
}
}
7.2 編輯elasticsearch-head/_site/app.js,
修改默認es地址http://localhost:9200/為http://192.168.1.106:9200/, 也可以不修改。
7.3 啟動
npm run start
瀏覽器打開http://192.168.1.106:9100/
七、參考資料
Logstash 最佳實踐
http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html
Elasticsearch 權威指南
http://www.learnes.net/
Kibana 中文指南
https://kibana.logstash.es/content/
Win 10 ELK(5.4.1) 環境搭建與基本使用與 Expected one of # 解決辦法
http://blog.csdn.net/wangming520liwei/article/details/73213438
基於Flume+Kafka+ Elasticsearch+Storm的海量日志實時分析平台
http://blog.csdn.net/ddcowboy/article/details/54617740
Elasticsearch之elasticsearch5.x 新特性
http://www.cnblogs.com/zlslch/p/6619089.html
Elasticsearch5.3 安裝問題集錦
http://blog.csdn.net/u013365215/article/details/70159141
elasticsearch5.3支持中文內容查詢
http://www.cnblogs.com/xiaofei1205/p/6709964.html
centos7.2部署最新ELK 5.3
http://www.cnblogs.com/xiaofei1205/p/6699475.html
elasticsearch5.3安裝插件head
http://www.cnblogs.com/xiaofei1205/p/6704239.html
elasticsearch5.3.0安裝以及與基於jupyter notebook 的spark交互
http://blog.csdn.net/Xmo_jiao/article/details/73251937
[大數據]-Elasticsearch5.3.1+Kibana5.3.1從單機到分布式的安裝與使用<1>
http://www.cnblogs.com/NextNight/p/6826621.html
[大數據]-Elasticsearch5.3.1+Kibana5.3.1從單機到分布式的安裝與使用<2>
http://www.cnblogs.com/NextNight/p/6829923.html
[大數據]-Elasticsearch5.3.1 IK分詞,同義詞/聯想搜索設置
http://www.cnblogs.com/NextNight/p/6837407.html
怒寫一篇基於Windows10的最新ElasticSearch5.3的搜索引擎的開發博客(一)
http://blog.csdn.net/u014460701/article/details/69425161
ElasticSearch 5.3——單台服務器多節點
http://blog.csdn.net/zwyjg/article/details/70739690
elasticsearch5.3.0+kibana5.3.0+logstash5.3.0搜索windows環境搭建
http://blog.csdn.net/xr568897472/article/details/71122807
ELK5.1搭建過程(ElasticSearch, Logstash, Kibana)
http://blog.csdn.net/hemin1003/article/details/73295303
ElasticSearch5.3.2+LogStash+Kibana+Redis日志管理平台搭建
http://blog.csdn.net/chenzenan/article/details/71126732
使用kibana+logstash+elasticsearch+redis搭建分布式日志收集、分析、查詢系統。
http://blog.csdn.net/zhangxtn/article/details/53695736
聊聊Flume和Logstash的那些事兒
http://www.jianshu.com/p/349ed5ee6419
基於Spark的公安大數據實時運維技術實踐
(使用Flume+Logstash+Kafka+Spark Streaming進行實時日志處理分析)
http://geek.csdn.net/news/detail/132138
Flume日志采集系統——初體驗(Logstash對比版)
http://www.cnblogs.com/xing901022/p/5631445.html
實戰ElasticStack
https://huoding.com/2016/12/11/566
CentOS7下Elastic Stack 5.0日志分析系統搭建
http://www.tuicool.com/articles/VbmMFnu
Elasticsearch5和head最新插件學習,JavaAPI demo
http://blog.csdn.net/lanqibaoer/article/details/73526549
richaaaard的ElasticSearch專題
http://www.cnblogs.com/richaaaard/category/783901.html
dm_vincent的ElasticSearch專欄
http://blog.csdn.net/dm_vincent/article/category/2718099
ELK筆記
http://www.cnblogs.com/MYSQLZOUQI/p/5849604.html