、Flume NG简述 Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持 Failover和负载均衡。并且它拥有非常丰富的组件。Flume NG采用的是三层架构：Agent层，Collector ...

一、简单测试配置信息 flume-ng启动agent的命令为： $ bin/flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties.template 添加如下配置 ...

是速度最快，容易配置；缺点是，可靠性最差，因为一旦flume进程挂了内存中还未出来的数据也就没了； 　 ...

一：flume简介及安装 Flume学习笔记：Flume的安装与基础应用 Flume学习之路 （一）Flume的基础介绍 Flume学习笔记：Flume集群的Avro RPC实现 Flume学习之路 （二）Flume的Source类型 Flume学习之路 （三）Flume的配置方式 ...

　　FileChannel是flume一个非常重要的channel组件，非常常用。这个channel非常复杂，涉及的文件更多涉及三个包：org.apache.flume.channel.file、org.apache.flume.channel.file.encryption(加密 ...

　　Spark Streaming是一个新的实时计算的利器，而且还在快速的发展。它将输入流切分成一个个的DStream转换为RDD，从而可以使用Spark来处理。它直接支持多种数据源：Kafka, Flume, Twitter, ZeroMQ , TCP sockets等，有一些可以操作的函数 ...

摆渡了一圈, 大部分教程有些地方写得不太明白, 我这边记录一下 1. 安装集群 下载MinIO: https://dl.min.io/server/minio/release/linux-amd64/minio 增加可执行权限 配置环境变量: 启动节点, 如果是本机启动多个 ...

如果你还没看过Flume-ng源码解析系列中的启动流程、Channel组件和Sink组件，可以点击下面链接： Flume-ng源码解析之启动流程 Flume-ng源码解析之Channel组件 Flume-ng源码解析之Sink组件 在前面三篇文章中我们初步了解了Flume的启动流程 ...