服务介绍 随着实时分析技术的发展及成本的降低，用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博，微盘，云存储，弹性计算平台等十多个部门的多个产品的日志搜索分析业务，每天处理约32亿条(2TB)日志。 技术架构 简单介绍一下服务的技术架构： 这是一个再常见不过的架构 ...

转自：http://mp.weixin.qq.com/s?__biz=MzIzMzEzODYwOA==&mid=2665284466&idx=1&sn=2b06a5298217 ...

百度统计（tongji.baidu.com）是百度推出的一款免费的专业网站流量分析工具，能够告诉用户访客是如何找到并浏览用户的网站的，以及在网站上浏览了哪些页面。这些信息可以帮助用户改善访客在其网站上的使用体验，不断提升网站的投资回报率。 百度统计提供了几十种图形化报告，包括：趋势分析、来源分析 ...

1、背景 日志系统接入的日志种类多、格式复杂多样，主流的有以下几种日志： filebeat采集到的文本日志，格式多样 winbeat采集到的操作系统日志 设备上报到logstash的syslog日志 接入到kafka的业务日志 以上通过各种渠道接入的日志，存在2个主要 ...

原文链接 简介 很多个人站长在搭建网站时使用nginx作为服务器，为了了解网站的访问情况，一般有两种手段： 使用CNZZ之类的方式，在前端页面插入js，用户访问的时候触发js，记录访问请求。 利用流计算、或离线统计分析nginx的access log，从日志中挖掘有用信息 ...

很早就知道Nginx日志分析工具GoAccess，但之前由于只能静态分析，感觉不太强大。最近发现它能够实时显示报表而且报表也比之前强大很多能做趋势分析。因此果断下载安装。以下是基于CentOS的安装配置步骤。 1、安装 GeoIPsudo yum install geoip ...

使用GoAccess构建实时日志分析系统 一、GoAccess基本概述 GoAccess 是一款用于Apache或者Nginx的命令行日志分析器和交互式查看器。使用这款工具，你不仅可以浏览到之前提及的相关数据，还可以通过分析网站服务器日志来进一步挖掘数据。这一切都是在一个终端窗口实时 ...

这三样东西分别作用是：日志收集、索引与搜索、可视化展现 l logstash 这张架构图可以看出logstash只是collect和index的地方，运行时传入一个.conf文件，配置分三部分:input ,filter,output。 l redis ...