【編者的話】我從2014年初入職新浪后就開始接觸實時日志分析相關的技術，主要是ELK（Elasticsearch、Logstash、Kibana），當時是學習+ELK優化，接一些日志，小打小鬧。從2015年起，我們正式得把實時日志分析作為服務提供給公司的其他部門。今天要給大家分享的是在服務化 ...

服務介紹 隨着實時分析技術的發展及成本的降低，用戶已經不僅僅滿足於離線分析。目前我們服務的用戶包括微博，微盤，雲存儲，彈性計算平台等十多個部門的多個產品的日志搜索分析業務，每天處理約32億條(2TB)日志。 技術架構 簡單介紹一下服務的技術架構： 這是一個再常見不過的架構 ...

1、什么是日志 日志就是程序產生的，遵循一定格式（通常包含時間戳）的文本數據。 通常日志由服務器生成，輸出到不同的文件中，一般會有系統日志、 應用日志、安全日志。這些日志分散地存儲在不同的機器上。 1.1、 日志的重要性 日志主要包括系統日志、應用程序日志和安全日志。系統運維和 ...

這三樣東西分別作用是：日志收集、索引與搜索、可視化展現 l logstash 這張架構圖可以看出logstash只是collect和index的地方，運行時傳入一個.conf文件，配置分三部分:input ,filter,output。 l redis ...

1、背景 日志系統接入的日志種類多、格式復雜多樣，主流的有以下幾種日志： filebeat采集到的文本日志，格式多樣 winbeat采集到的操作系統日志 設備上報到logstash的syslog日志 接入到kafka的業務日志 以上通過各種渠道接入的日志，存在2個主要 ...

很早就知道Nginx日志分析工具GoAccess，但之前由於只能靜態分析，感覺不太強大。最近發現它能夠實時顯示報表而且報表也比之前強大很多能做趨勢分析。因此果斷下載安裝。以下是基於CentOS的安裝配置步驟。 1、安裝 GeoIPsudo yum install geoip ...

使用GoAccess構建實時日志分析系統 一、GoAccess基本概述 GoAccess 是一款用於Apache或者Nginx的命令行日志分析器和交互式查看器。使用這款工具，你不僅可以瀏覽到之前提及的相關數據，還可以通過分析網站服務器日志來進一步挖掘數據。這一切都是在一個終端窗口實時 ...

文：鐵樂與貓 系統：CentOS Linux release 7.3.1611 (Core) 注：我這里為測試和實驗方便，ELK整套都裝在同一台服務器環境中了，生產環境的話，可以分開搭建在不同的服務 ...