Flume-NG源码阅读之Interceptor(原创)
有的时候希望通过Flume将读取的文件再细分存储，比如讲source的数据按照业务类型分开存储，具体一点比如类似：将source中web、wap、media等的内容分开存储；比如丢弃或修改一些数据。这时可以考虑使用拦截器Interceptor。 flume通过拦截器实现修改和丢弃事件 ...
原文：Flume-NG源码阅读之SourceRunner，及选择器selector和拦截器interceptor的执行
在AbstractConfigurationProvider类中loadSources方法会将所有的source进行封装成SourceRunner放到了Map lt String, SourceRunner gt sourceRunnerMap之中。相关代码如下： 每个source都有selector。上述代码会获取配置文件中关于source的selector配置信息 然后构造ChannelSe ...
2014-05-26 15:48 1 2244 推荐指数：
相关推荐
Flume 拦截器(interceptor)详解
flume 拦截器(interceptor)1、flume拦截器介绍拦截器是简单的插件式组件，设置在source和channel之间。source接收到的事件event，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器 ...
Flume-NG源码阅读之FileChannel
)、org.apache.flume.channel.file.proto共计40个源码文件。 一、config ...
Flume-NG源码阅读之SpoolDirectorySource(原创)
org.apache.flume.source.SpoolDirectorySource是flume的一个常用的source，这个源支持从磁盘中某文件夹获取文件数据。不同于其他异步源，这个源能够避免重启或者发送失败后数据丢失。flume可以监控文件夹，当出现新文件时会读取该文件并获取数据 ...
Flume-NG源码阅读之SinkGroups和SinkRunner
在AbstractConfigurationProvider类中loadSinks方法会调用loadSinkGroups方法将所有的sink和sinkgroup放到了Map<String, ...
Flume-NG源码阅读之HBaseSink
关于HBase的sink的所有内容均在org.apache.flume.sink.hbase包下。 每个sink包括自己定制的，都extends AbstractSink implements Configurable。 一、首先是configure(Context context ...
Flume-NG源码阅读之HDFSEventSink
HDFSEventSink是flume中一个很重要的sink，配置文件中type=hdfs。与此sink相关的类都在org.apache.flume.sink.hdfs包中。 HDFSEventSink算是一个比较复杂的sink，包下涉及的源代码文件数多达13个。。。可配置的参数 ...
flume-ng源码阅读RollingFileSink(原创)
org.apache.flume.sink.RollingFileSink 这个类比较简单。 source的种类有两种：一种是PollableSource；另外一种是EventDrivenSource。前者“必须有它自己的callback机制，该机制用于捕获新数据并将数据存储到通道中 ...