簡介 　　在很多數據采集場景下，Flume作為一個高性能采集日志的工具，相信大家都知道它。許多人想起Flume這個組件能聯想到的大多數都是Flume跟Kafka相結合進行日志的采集，這種方案有很多他的優點，比如高性能、高吞吐、數據可靠性等。但是我們如果要求對日志進行實時的采集，這顯然不是一個好 ...

正文前先來一波福利推薦： 福利一： 百萬年薪架構師視頻，該視頻可以學到很多東西，是本人花錢買的VIP課程，學習消化了一年，為了支持一下女朋友公眾號也方便大家學習，共享給大家。 福利二： 畢業 ...

1、openresty+lua+kafka 1.1 openresty+lua+kafka方案 　　之前的項目基於nginx反向代理后轉發到Tomcat的API接口進行業務處理，然后將json數據打入kafka中，但是隨着業務的擴大，訪問量越來越大，並發數也很高，導致程序遇到性能問題 ...

　　kafka 官網: https://kafka.apache.org/quickstart 　　zookeeper 官網:https://zookeeper.apache.org/ 　　kafka 運行需要 zookeeper 支持，所以安裝 kafka 的時候需要先安裝 ...

在各自nginx上，而且大流量日志本身對磁盤也是一種沖擊。我們需要把這部分nginx日志統一收集匯總起來, ...

　　最近開發一個項目，公司使用的是 openresty + lua，所以就研究了 openresty + lua。介紹的話，我就不多說了，網上太多了。 　　寫這個博客主要是記錄一下，在學習的過程中遇到的一些坑吧(其實會了一種語言，再學習其他語言不難，但是畢竟屬於新的東西，環境、寫法什么的還是有點 ...

前言 承接上文( 微服務日志之.NET Core使用NLog通過Kafka實現日志收集 https://www.cnblogs.com/maxzhang1985/p/9522017.html ).NET/Core的實現,我們的目地是為了讓微服務環境中dotnet和java的服務都統一的進行日志 ...

日志收集之kafka http://www.jianshu.com/p/f78b773ddde5 一、介紹 　　Kafka是一種分布式的，基於發布/訂閱的消息系統。主要設計目標如下： 以時間復雜度為O(1)的方式提供消息持久化能力，即使對TB級以上數據也能保證常數時間復雜度的訪問性能 ...