简介 　　在很多数据采集场景下，Flume作为一个高性能采集日志的工具，相信大家都知道它。许多人想起Flume这个组件能联想到的大多数都是Flume跟Kafka相结合进行日志的采集，这种方案有很多他的优点，比如高性能、高吞吐、数据可靠性等。但是我们如果要求对日志进行实时的采集，这显然不是一个好 ...

正文前先来一波福利推荐： 福利一： 百万年薪架构师视频，该视频可以学到很多东西，是本人花钱买的VIP课程，学习消化了一年，为了支持一下女朋友公众号也方便大家学习，共享给大家。 福利二： 毕业 ...

1、openresty+lua+kafka 1.1 openresty+lua+kafka方案 　　之前的项目基于nginx反向代理后转发到Tomcat的API接口进行业务处理，然后将json数据打入kafka中，但是随着业务的扩大，访问量越来越大，并发数也很高，导致程序遇到性能问题 ...

　　kafka 官网: https://kafka.apache.org/quickstart 　　zookeeper 官网:https://zookeeper.apache.org/ 　　kafka 运行需要 zookeeper 支持，所以安装 kafka 的时候需要先安装 ...

在各自nginx上，而且大流量日志本身对磁盘也是一种冲击。我们需要把这部分nginx日志统一收集汇总起来, ...

　　最近开发一个项目，公司使用的是 openresty + lua，所以就研究了 openresty + lua。介绍的话，我就不多说了，网上太多了。 　　写这个博客主要是记录一下，在学习的过程中遇到的一些坑吧(其实会了一种语言，再学习其他语言不难，但是毕竟属于新的东西，环境、写法什么的还是有点 ...

前言 承接上文( 微服务日志之.NET Core使用NLog通过Kafka实现日志收集 https://www.cnblogs.com/maxzhang1985/p/9522017.html ).NET/Core的实现,我们的目地是为了让微服务环境中dotnet和java的服务都统一的进行日志 ...

日志收集之kafka http://www.jianshu.com/p/f78b773ddde5 一、介绍 　　Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能 ...