1、環境前期准備。
從elastic的官網https://www.elastic.co/cn/,分別下載 elasticsearch-6.1.2.zip 、 kibana-6.1.2-linux-x86_64.tar.gz 、 logstash-6.1.2.zip 到本地。
或者可以直接在這個百度網盤中下載,鏈接:https://pan.baidu.com/s/17IlI7bGTeU-wD2f1AEyyCA 密碼:woa9
本次elk搭建是在cento 7.2 64 位的系統下面進行的,elastic+kibana 的ip 是 192.168.209.143 ,兩個客戶機分別是nginx日志192.168.209.144,
http日志:192.168.209.142
先將elastic+kibana 的軟件上傳到 143 的root目錄上面,logstash 分別上傳到144 和142 的root 上面。
143、144、142 都要配置好jdk環境,下載安裝然后寫入/etc/profile ,清楚防火牆配置,或者在143開放 9200 5601端口
## set JAVA ##
JAVA_HOME=/usr/jdk
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:/$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib.tools.jar
export PATH JAVA_HOME CLASSPATH
優化好sysctl.conf 內核配置,添加下面一行
vm.max_map_count=655360
然后 執行 sysctl -p
2、elastic+kibana 的配置
分別將elastic和kibana 的文件包解壓到新建的elk目錄下面

配置好elastic的yml文件,只需要修改一個選項即可

配置kibana 的yml文件,只需要添加兩項,定義好elastic的ip地址
server.host: "192.168.209.143"
elasticsearch.url: "http://192.168.209.143:9200"

3.啟動elastic 和kibana
修改elastic的目錄為普通用戶,所有文件的權限都改成他,本次構建是使用新建的elk 用戶來啟動的。

然后讓elk去啟動elastic服務,如果直接用下面的命令啟動,可能出現如下的報錯。

登錄elk用戶,直接啟動,就可以了。

去到kibana的目錄下面執行nohup /elk/kibana-5.1.1/bin/kibana & ,就可以直接啟動kibana服務
.
檢查服務器端口是否正常開啟

在本地執行代表elastic正常啟動

執行192.168.209.143:5601 代表kibana正常啟動

4、客戶端142和143的logstash安裝
在142上面上傳解壓logstash-6.1.2.zip ,然后拷貝到 /usr/local/下面,新建logstash.conf文件,內容如下
input{
file{
path =>"/var/log/httpd/access_log" ####這個是要在elastic上面顯示的日志文件,具體地址,按實際日志文件存放位置定義
start_position=>"beginning"
}
}
filter{
grok{
match=>{
"message"=>"%{DATA:clientIp} - - \[%{HTTPDATE:accessTime}\] \"%{DATA:method} %{DATA:requestPath} %{DATA:httpversion}\" %{DATA:retcode} %{DATA:size} \"%{DATA:fromHtml}\" \"%{DATA:useragent}\""
}
remove_field=>"message"
}
date{
match=>["accessTime","dd/MMM/yyyy:HH:mm:ss Z"]
}
}
output{
elasticsearch {
hosts => "192.168.209.143:9200" ####這個是elastic的服務器地址
}
stdout{
codec=>rubydebug
}
}
然后啟動logstash進程,nohup ./bin/logstash -f /usr/local/logstash/logstash.conf &

手動訪問nginx或者httpd的業務輸出大量的日志
5.驗證elasticsearch+Logstash+kibana 成功與否
登錄到kibana上面,一般要求你創建一個選項,下面的由於創建的時候未截圖,所有沒有數據,一般按照提示,第一個填 * ,然后下一步 ,
第二個選擇
即可完成初次的配置。

最終顯示的效果圖如下,注意一點的是,右上角是查詢搜索日志的時間范圍,如你這個時間段內沒有日志寫入,那么kibana上面,無論搜索什么關鍵字,
都會顯示找不到對應的結果,左邊就是關鍵字填寫的選項。

