為什么用到ELK： 一般我們需要進行日志分析場景：直接在日志文件中 grep、awk 就可以獲得自己想要的信息。但在規模較大的場景中，此方法效率低下，面臨問題包括日志量太大如何歸檔、文本搜索太慢怎么 ...

　　Logstash是一款輕量級的日志搜集處理框架，可以方便的把分散的、多樣化的日志搜集起來，並進行自定義的處理，然后傳輸到指定的位置，比如某個服務器或者文件。 　　本文針對官方文檔進行翻譯以及實踐，希望有更多的有用戶了解、使用這款工具。 下載、安裝、使用 　　這款工具是開箱即用 ...

一、寫在前面 　　結合之前寫的一篇文章：Centos7 之安裝Logstash ELK stack 日志管理系統，上篇文章主要講了監控軟件的作用以及部署方法。而這篇文章介紹的是單獨監控nginx 日志分析再進行可視化圖形展示，並在用戶前端使用nginx 來代理kibana的請求響應，訪問權限方面 ...

一、Kibana之Visualize 功能 在首頁上Visualize 標簽頁用來設計可視化圖形。你可以保存之前在discovery中的搜索來進行畫圖，然后保存該visualize，或者加載合並到 ...

　　在生產環境中，nginx日志格式往往使用的是自定義的格式，我們需要把logstash中的message結構化后再存儲，方便kibana的搜索和統計，因此需要對message進行解析。 　　本文采用grok過濾器，使用match正則表達式解析，根據自己的log_format定制 ...

場景： 1） datasource->logstash->elasticsearch->kibana 2） datasource->filebeat->logstash-> elasticsearch->kibana ...

一、介紹 　　 　　The Elastic Stack - 它不是一個軟件，而是Elasticsearch，Logstash，Kibana 開源軟件的集合，對外是作為一個日志管理系統的開源方案。它可以從任何來源，任何格式進行日志搜索，分析獲取數據，並實時進行展示。像盾牌（安全），監護者（警報 ...

　　前篇介紹過Logstash的使用，本篇繼續深入，介紹下最常用的input插件——file。 　　這個插件可以從指定的目錄或者文件讀取內容，輸入到管道處理，也算是logstash的核心插件了，大多數的使用場景都會用到這個插件，因此這里詳細講述下各個參數的含義與使用。 最小化 ...

root權限 docker版本：1.13.1 ELK版本：6.4.3 項目中均關閉X-Pack 一、安裝Elasticsearch 新建elasticsearch目錄，並再其下新建文件con ...

　　單個進程 logstash 可以實現對數據的讀取、解析和輸出處理。但是在生產環境中，從每台應用服務器運行 logstash 進程並將數據直接發送到 Elasticsearch 里，顯然不是第一選擇：第一，過多的客戶端連接對 Elasticsearch 是一種額外的壓力；第二，網絡抖動會影響到 ...