Flume-NG之KafkaChannel
是速度最快，容易配置；缺点是，可靠性最差，因为一旦flume进程挂了内存中还未出来的数据也就没了； ...
原文：Flume-ng 配置以及简单的例子[转]
一 简单测试配置信息 flume ng启动agent的命令为： bin flume ng agent n agent name c conf f conf flume conf.properties.template 添加如下配置文件 avro log.conf avro log.conf: A single node Flume configuration excute next command ...
2013-09-11 13:55 0 7963 推荐指数：
相关推荐
Flume-NG一些注意事项（转）
原文链接：记Flume-NG一些注意事项 这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。 一、关于Source： 1、spool-source：适合静态文件，即文件本身不是动态变化的； 2、avro source可以适当提高线程数量来提高 ...
Flume-ng高可用集群负载安装与配置
1. 写在前面 flume-ng高可用长在大数据处理环节第一个出现，对于处理日志文件有很好的作用，本篇博客将详细介绍flume-ng的高可用负载均衡搭建 2. flume-ng高可用负载均衡描述 在一般情况下，Flume-ng高可用采用server和client模式，client主要负责 ...
Flume-NG源码阅读之FileChannel
FileChannel是flume一个非常重要的channel组件，非常常用。这个channel非常复杂，涉及的文件更多涉及三个包：org.apache.flume.channel.file、org.apache.flume.channel.file.encryption(加密 ...
Spark Streaming和Flume-NG对接实验
Spark Streaming是一个新的实时计算的利器，而且还在快速的发展。它将输入流切分成一个个的DStream转换为RDD，从而可以使用Spark来处理。它直接支持多种数据源：Kafka, Flume, Twitter, ZeroMQ , TCP sockets等，有一些可以操作的函数 ...
Flume-ng源码解析之Source组件
如果你还没看过Flume-ng源码解析系列中的启动流程、Channel组件和Sink组件，可以点击下面链接： Flume-ng源码解析之启动流程 Flume-ng源码解析之Channel组件 Flume-ng源码解析之Sink组件 在前面三篇文章中我们初步了解了Flume的启动流程 ...
Flume-NG源码阅读之HBaseSink
关于HBase的sink的所有内容均在org.apache.flume.sink.hbase包下。 每个sink包括自己定制的，都extends AbstractSink implements Configurable。 一、首先是configure(Context context ...
Flume-NG源码阅读之HDFSEventSink
HDFSEventSink是flume中一个很重要的sink，配置文件中type=hdfs。与此sink相关的类都在org.apache.flume.sink.hdfs包中。 HDFSEventSink算是一个比较复杂的sink，包下涉及的源代码文件数多达13个。。。可配置的参数 ...