Windows下ELK-5.4.3環境搭建


Windows下ELK-5.4.3環境搭建

一、概述

ELK官網 https://www.elastic.co
ELK由Elasticsearch、Logstash和Kibana三部分組件組成;

Elasticsearch是個開源分布式搜索引擎,它的特點有:分布式,零配置,自動發現,索引自動分片,索引副本機制,restful風格接口,多數據源,自動搜索負載等。
Logstash是一個完全開源的工具,它可以對你的日志進行收集、分析,並將其存儲供以后使用
kibana 是一個開源和免費的工具,它可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以幫助您匯總、分析和搜索重要數據日志。

db_vs_es

常見平台架構

ELK = Elasticsearch + Logstash + Kibana
EFK = Elasticsearch + Flume + Kibana

簡單架構:
ELK+Redis
或
(Logstash/Flume)->(Kafka/Redis)->ES->Web

可更簡單些:
Client(Filebeat) --> LogServer(Logstash-->Elasticsearch-->Kibana )
(可以不用Logstash,Filebeat直接輸出到ES)

復雜架構:
數據采集層[離線/實時數據,MySQL/ES/Logstash/Flume]
->數據傳輸層[Kafka/Redis]
->數據緩存層[Storm->Kafka]
->計算存儲層[離線計算(Kylin/Spark SQL/Impala/MR)、實時計算(Storm/Spark Streaming/Flink/Druid)、存儲(ES/MySQL/Hbase/HDFS/Kudu)]
->應用層[Web/REST API]

二、下載安裝ELK

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.3.tar.gz --no-check-certificate
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.4.3.tar.gz --no-check-certificate
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.3-windows-x86.zip --no-check-certificate

注意需要jdk8環境

三、修改配置

3.1.編輯ES配置文件:

// E:/elk/elasticsearch-5.4.3/config/elasticsearch.yml 

network.host:192.168.1.106
http.port: 9200

3.2.新建Logstash日志分析配置文件:

// E:\elk\logstash-5.4.3\config\logstash.conf

input {
    file {
		type => "nginx_access"
        path => "D:\nginx\logs\access.log"
    }
}
output {
    elasticsearch {
        hosts => ["192.168.1.106:9200"]
        index => "access-%{+YYYY.MM.dd}"
    }
    stdout {
        codec => json_lines
    }
}

3.3.編輯Kibana配置文件:

// E:/elk/kibana-5.4.3-windows-x86/config/kibana.yml

server.port: 5601
server.host: 192.168.1.106
elasticsearch.url: "http://192.168.1.106:9200"

四、啟動

//啟動ES
elasticsearch.bat 

//啟動Logstash
logstash.bat -f  ../config/logstash.conf

//啟動kibana
kibana.bat 

五、驗證

curl -XGET http://192.168.1.106:9200/
curl -XGET "http://192.168.1.106:9200/_search" -H 'Content-Type: application/json' -d'{"query": {"match_all": {}}}'

或瀏覽器分別訪問
es: http://192.168.1.106:9200/
kibana: http://192.168.1.106:5601/

六、ES支持中文查詢

elasticsearch-analysis-ik下載地址:
https://github.com/medcl/elasticsearch-analysis-ik/releases
下載elasticsearch-analysis-ik-5.4.3.zip解壓到 elasticsearch-5.4.3\plugins\ik目錄下
然后重啟elasticsearch

驗證

```shell
GET _search
{
  "query": {
    "match": {
      "message": "中華"
    }
  }
}

七、elasticsearch-head安裝

elasticsearch-head是一個用於管理Elasticsearch的web前端插件
https://github.com/mobz/elasticsearch-head

運行環境准備NodeJS,Grunt

npm install -g grunt-cli
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install

7.1 修改elasticsearch.yml,增加跨域的配置(需要重啟es才能生效)
http.cors.enabled: true
http.cors.allow-origin: "*"

7.2 編輯elasticsearch-head/Gruntfile.js,修改服務器監聽地址,connect節點增加hostname屬性,將其值設置為*

connect: {
	server: {
		options: {
			hostname:'*',
			port: 9100,
			base: '.',
			keepalive: true
		}
	}
}

7.2 編輯elasticsearch-head/_site/app.js,
修改默認es地址http://localhost:9200/為http://192.168.1.106:9200/, 也可以不修改。

7.3 啟動

npm run start

瀏覽器打開http://192.168.1.106:9100/

七、參考資料

Logstash 最佳實踐
http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html

Elasticsearch 權威指南
 http://www.learnes.net/

Kibana 中文指南 
https://kibana.logstash.es/content/


Win 10 ELK(5.4.1) 環境搭建與基本使用與 Expected one of # 解決辦法
http://blog.csdn.net/wangming520liwei/article/details/73213438

基於Flume+Kafka+ Elasticsearch+Storm的海量日志實時分析平台
http://blog.csdn.net/ddcowboy/article/details/54617740

Elasticsearch之elasticsearch5.x 新特性
http://www.cnblogs.com/zlslch/p/6619089.html

Elasticsearch5.3 安裝問題集錦
http://blog.csdn.net/u013365215/article/details/70159141

elasticsearch5.3支持中文內容查詢
http://www.cnblogs.com/xiaofei1205/p/6709964.html

centos7.2部署最新ELK 5.3
http://www.cnblogs.com/xiaofei1205/p/6699475.html

elasticsearch5.3安裝插件head
http://www.cnblogs.com/xiaofei1205/p/6704239.html

elasticsearch5.3.0安裝以及與基於jupyter notebook 的spark交互
http://blog.csdn.net/Xmo_jiao/article/details/73251937

[大數據]-Elasticsearch5.3.1+Kibana5.3.1從單機到分布式的安裝與使用<1>
http://www.cnblogs.com/NextNight/p/6826621.html

[大數據]-Elasticsearch5.3.1+Kibana5.3.1從單機到分布式的安裝與使用<2>
http://www.cnblogs.com/NextNight/p/6829923.html

[大數據]-Elasticsearch5.3.1 IK分詞,同義詞/聯想搜索設置
http://www.cnblogs.com/NextNight/p/6837407.html

怒寫一篇基於Windows10的最新ElasticSearch5.3的搜索引擎的開發博客(一)
http://blog.csdn.net/u014460701/article/details/69425161

ElasticSearch 5.3——單台服務器多節點
http://blog.csdn.net/zwyjg/article/details/70739690
 
elasticsearch5.3.0+kibana5.3.0+logstash5.3.0搜索windows環境搭建
http://blog.csdn.net/xr568897472/article/details/71122807
 
ELK5.1搭建過程(ElasticSearch, Logstash, Kibana)
http://blog.csdn.net/hemin1003/article/details/73295303
 
ElasticSearch5.3.2+LogStash+Kibana+Redis日志管理平台搭建
http://blog.csdn.net/chenzenan/article/details/71126732
 
使用kibana+logstash+elasticsearch+redis搭建分布式日志收集、分析、查詢系統。
http://blog.csdn.net/zhangxtn/article/details/53695736

聊聊Flume和Logstash的那些事兒
http://www.jianshu.com/p/349ed5ee6419

基於Spark的公安大數據實時運維技術實踐
(使用Flume+Logstash+Kafka+Spark Streaming進行實時日志處理分析)
http://geek.csdn.net/news/detail/132138

Flume日志采集系統——初體驗(Logstash對比版)
http://www.cnblogs.com/xing901022/p/5631445.html

實戰ElasticStack
https://huoding.com/2016/12/11/566

CentOS7下Elastic Stack 5.0日志分析系統搭建
http://www.tuicool.com/articles/VbmMFnu

Elasticsearch5和head最新插件學習,JavaAPI demo 
http://blog.csdn.net/lanqibaoer/article/details/73526549

richaaaard的ElasticSearch專題
http://www.cnblogs.com/richaaaard/category/783901.html

dm_vincent的ElasticSearch專欄
http://blog.csdn.net/dm_vincent/article/category/2718099

ELK筆記
http://www.cnblogs.com/MYSQLZOUQI/p/5849604.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM